[논문 리뷰] Multi-Agent Reinforcement Learning for Persistent Monitoring.

Jingxi Chen, Amrish Baskaran외 2명|arXiv (Cornell University)|2020. 11. 02.

Reinforcement Learning in Robotics참고 문헌 21인용 수 4

한 줄 요약

이 논문은 로봇이 국소적 관측과 저해상도 전역 지ap을 사용하여 동적인 환경을 공동으로 지속적으로 모니터링할 수 있도록 하는 다중 에이전트 그래프 주의 프록시멀 정책 최적화(MA-G-PPO) 알고리즘을 제안한다. 이 방법은 그래프 주의 메커니즘을 활용해 에이전트 간에 정보를 공유하며, 모니터링 페널티를 줄이고 잠재적인 협업 행동을 유도하는 효과적인 공동 정책을 학습한다.

ABSTRACT

The Persistent Monitoring (PM) problem seeks to find a set of trajectories (or controllers) for robots to persistently monitor a changing environment. Each robot has a limited field-of-view and may need to coordinate with others to ensure no point in the environment is left unmonitored for long periods of time. We model the problem such that there is a penalty that accrues every time step if a point is left unmonitored. However, the dynamics of the penalty are unknown to us. We present a Multi-Agent Reinforcement Learning (MARL) algorithm for the persistent monitoring problem. Specifically, we present a Multi-Agent Graph Attention Proximal Policy Optimization (MA-G-PPO) algorithm that takes as input the local observations of all agents combined with a low resolution global map to learn a policy for each agent. The graph attention allows agents to share their information with others leading to an effective joint policy. Our main focus is to understand how effective MARL is for the PM problem. We investigate five research questions with this broader goal. We find that MA-G-PPO is able to learn a better policy than the non-RL baseline in most cases, the effectiveness depends on agents sharing information with each other, and the policy learnt shows emergent behavior for the agents.

연구 동기 및 목표

• 로봇이 제한된 시야로 동적인 환경을 지속적으로 모니터링해야 하는 지속적 모니터링(PM) 문제를 해결하기 위해.
• 알 수 없는 페널티 동역학 조건 하에서도 협동 모니터링을 가능하게 하는 다중 에이전트 강화학습 프레임워크를 개발하기 위해.
• 에이전트 간의 정보 공유가 지속적 모니터링 작업에서 정책 성능에 어떤 영향을 미치는지 조사하기 위해.
• MARL이 명시적인 작업 분해 없이도 잠재적인 협업 행동을 학습할 수 있는지 평가하기 위해.

제안 방법

• MA-G-PPO 알고리즘은 프록시멀 정책 최적화(PPO)를 정책 학습에 사용하며, 이웃 에이전트로부터의 정보를 집계하기 위해 그래프 주의 메커니즘을 활용한다.
• 각 에이전트의 입력에는 국소적 관측과 저해상도 전역 지도가 포함되어 있어 공간적 맥락을 제공한다.
• 그래프 주의 레이어를 통해 에이전트들은 관련성과 근접도에 따라 다른 에이전트의 정보를 동적으로 가중하고 통합할 수 있다.
• 정책은 모니터링하지 않은 시간에 대한 페널티를 반영한 보상 신호를 사용해 엔드 투 엔드로 훈련된다.
• 이 방법은 탈중앙화된 실행을 가능하게 하여 각 에이전트가 자신의 관측과 공유된 정보에 기반해 행동한다.
• 아키텍처는 에이전트를 그래프의 노드로 모델링하고 학습 가능한 주의 기반 통신을 통해 확장 가능한 협업을 지원한다.

실험 결과

연구 질문

• RQ1 MA-G-PPO는 비-RL 기준 대비 모니터링 페널티를 줄이는 데 얼마나 효과적인가?
• RQ2 에이전트 간의 정보 공유가 PM 문제에서 정책 성능 향상에 얼마나 기여하는가?
• RQ3 MARL 프레임워크는 명시적인 작업 분해 없이도 잠재적인 협업 행동을 학습할 수 있는가?
• RQ4 저해상도 전역 지도의 포함 여부가 학습 효율성과 정책 품질에 어떤 영향을 미치는가?
• RQ5 그래프 주의 메커니즘이 다중 에이전트 모니터링에서 정책의 일반화 능력과 내구성에 어떤 영향을 미치는가?

주요 결과

• MA-G-PPO는 대부분의 실험 시나리오에서 비-RL 기준 대비 모니터링 페널티를 더 효과적으로 줄였다.
• 에이전트들이 그래프 주의 메커니즘을 통해 정보를 공유할 경우, 고립된 학습 대비 성능 향상이 뚜렷하게 향상되었다.
• 학습된 정책은 공간적 노동 분담과 갭을 메우기 위한 동적 재배치와 같은 잠재적인 협업 행동을 보였다.
• 저해상도 전역 지도의 사용은 정책 수렴과 커버리지 안정성 향상에 기여했다.
• 그래프 주의 메커니즘은 명시적인 통신 프로토콜이 없이도 효과적인 통신을 가능하게 하여 공동 성능 향상을 이끌었다.
• 알고리즘은 다양한 복잡도와 에이전트 수를 가진 환경에서도 확장성과 내구성을 입증했다.