[논문 리뷰] Near-Optimal Multi-Agent Learning for Safe Coverage Control

Manish Prajapat, Matteo Turchetta외 2명|arXiv (Cornell University)|2022. 10. 12.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 알려지지 않은 환경 밀도와 안전 제약 조건 하에서 안전한 커버리지 제어를 위한 새로운 다중 에이전트 강화 학습 알고리즘인 SafeMaC을 제안한다. 커버리지 문제를 조건부 선형 비모듈러 함수로 모델링하고, 새로운 탐색-이용 알고리즘(MaCOpt)과 안전 탐색 확장을 결합함으로써, SafeMaC는 증명 가능한 안전 보장을 바탕으로 근사 최적의 커버리지 성능을 달성하며, 합성 및 실제 생물 다양성 모니터링 작업 모두에서 기존 방법들을 능가한다.

ABSTRACT

In multi-agent coverage control problems, agents navigate their environment to reach locations that maximize the coverage of some density. In practice, the density is rarely known $ extit{a priori}$, further complicating the original NP-hard problem. Moreover, in many applications, agents cannot visit arbitrary locations due to $ extit{a priori}$ unknown safety constraints. In this paper, we aim to efficiently learn the density to approximately solve the coverage problem while preserving the agents' safety. We first propose a conditionally linear submodular coverage function that facilitates theoretical analysis. Utilizing this structure, we develop MacOpt, a novel algorithm that efficiently trades off the exploration-exploitation dilemma due to partial observability, and show that it achieves sublinear regret. Next, we extend results on single-agent safe exploration to our multi-agent setting and propose SafeMac for safe coverage and exploration. We analyze SafeMac and give first of its kind results: near optimal coverage in finite time while provably guaranteeing safety. We extensively evaluate our algorithms on synthetic and real problems, including a bio-diversity monitoring task under safety constraints, where SafeMac outperforms competing methods.

연구 동기 및 목표

• 이심 밀도와 안전 제약 조건이 사전에 알려지지 않은 상황에서 다중 에이전트 커버리지 제어의 과제를 해결한다.
• 커버리지 제어의 NP-난이도와 부분적으로 관찰 가능한 환경에서의 탐색-이용 갈등을 극복한다.
• 실제 배포 시 치명적인 실패를 방지하기 위해 탐색 과정에서 증명 가능한 안전성을 확보한다.
• 환경 학습과 높은 커버리지 달성 사이의 균형을 이룬 샘플 효율적인 알고리즘을 개발한다.
• 극한 기상 조건 하에서의 생물 다양성 모니터링과 같은 실제 애플리케이션에서의 효과성을 입증한다.

제안 방법

• 이론적 분석과 효율적 최적화를 가능하게 하기 위해 커버리지 목표를 조건부 선형 비모듈러 함수로 모델링한다.
• 제약 조건이 없는 환경에서 탐색과 이용을 균형 있게 조절함으로써 하한선 이하의 누적 손실을 달성하는 새로운 알고리즘인 MaCOpt를 제안한다.
• 단일 에이전트 안전 탐색을 위한 GoOSE 알고리즘을 다중 에이전트 환경으로 확장하여 안전한 능동 학습을 가능하게 한다.
• MaCOpt와 안전 탐색을 통합하여 안전 보장을 보장하면서도 환경를 학습하는 SafeMaC를 구성한다.
• 모르는 밀도 및 안전 함수를 모델링하기 위해 가우시안 프로세스를 사용하며, 강건성을 확보하기 위해 학습된 초모수를 적용한다.
• 각 에이전트의 의사결정 단계에서 탐색 제약 조건을 고려한 근사적 선택 기법을 적용하여 탐색 가능성과 확장 가능성을 보장한다.

실험 결과

연구 질문

• RQ1 알려지지 않은 밀도와 제약 조건이 존재하는 환경에서 근사 최적의 커버리지 성능을 달성하면서도 안전성을 보장하는 다중 에이전트 학습 알고리즘을 설계할 수 있는가?
• RQ2 커버리지 목표가 알려지지 않았고 부분적으로 관찰 가능한 상황에서 탐색과 이용을 효율적으로 균형 조절할 수 있는가?
• RQ3 안전한 다중 에이전트 커버리지 알고리즘의 이론적 성능 보장(손실 및 수렴성 측면)은 무엇인가?
• RQ4 제안된 SafeMaC 알고리즘이 최신 기술 대비 샘플 효율성과 커버리지 품질 측면에서 어떻게 비교되는가?
• RQ5 더 큰 영역과 더 많은 에이전트 수에 대해 효과적으로 확장 가능할 수 있는가? 이때 안전성과 성능 유지를 유지하는가?

주요 결과

• SafeMaC는 유한 시간 내에 근사 최적의 커버리지 성능을 달성하면서도 증명 가능한 안전 보장을 보장하며, 다중 에이전트 안전 커버리지 설정에서 처음으로 이와 같은 이론적 결과를 도출한다.
• 제약 조건이 없는 환경에서 MaCOpt는 하한선 이하의 누적 손실을 달성하며, 수렴성과 최종 커버리지 값 측면에서 UCB 기반 기준 방법들을 능가한다.
• 생물 다양성 모니터링 과제에서 SafeMaC는 PassiveMaC 및 이중 단계 방법보다 더 나은 해답을 더 적은 샘플 수로 찾으며, 안전하지 않은 영역을 탐색하지 않는다.
• SafeMaC는 도메인 크기(30×30에서 60×60)와 에이전트 수(3~15)에 걸쳐 확장 가능성을 보이며, 높은 성능과 샘플 효율성을 유지한다.
• 초모수 설정에 대해 강건하며, 다양한 GP 초모수와 환경 인스턴스에서 일관된 성능을 기록한다.
• 장애물이 많은 환경에서 SafeMaC는 제약 조건을 효과적으로 탐색하며, 이중 단계 방법과 유사한 커버리지 성능을 달성하지만, 훨씬 적은 탐색을 기록한다.