[논문 리뷰] Heterogeneous Multi-Agent Reinforcement Learning for Unknown Environment Mapping

Ceyer Wakilpoor, Patrick Martin외 2명|arXiv (Cornell University)|2020. 10. 06.

Reinforcement Learning in Robotics참고 문헌 13인용 수 14

한 줄 요약

이 논문은 고정 길이 관측 인코딩과 삼중 학습 손실을 갖춘 새로운 액터-크리틱 프레임워크를 통해 비동일한 다중 에이전트 강화학습 알고리즘인 EMAC을 제안한다. 이 알고리즘은 비지도 환경의 분산형, 협동적 커버리지 구현을 가능하게 하며, 기존의 경로 계획 및 독립적 강화학습 기반 알고리즘보다 뛰어난 성능을 보이며, 난류, 통신 지연, 에이전트 장애, 더 큰 환경 및 다양한 팀 구성에 대한 확장성까지 견고하게 작동함을 입증한다.

ABSTRACT

Reinforcement learning in heterogeneous multi-agent scenarios is important for real-world applications but presents challenges beyond those seen in homogeneous settings and simple benchmarks. In this work, we present an actor-critic algorithm that allows a team of heterogeneous agents to learn decentralized control policies for covering an unknown environment. This task is of interest to national security and emergency response organizations that would like to enhance situational awareness in hazardous areas by deploying teams of unmanned aerial vehicles. To solve this multi-agent coverage path planning problem in unknown environments, we augment a multi-agent actor-critic architecture with a new state encoding structure and triplet learning loss to support heterogeneous agent learning. We developed a simulation environment that includes real-world environmental factors such as turbulence, delayed communication, and agent loss, to train teams of agents as well as probe their robustness and flexibility to such disturbances.

연구 동기 및 목표

• 동적이고 위험한 상황에서 비지도 환경 커버리지에 적합한 분산형 다중 에이전트 강화학습 접근법을 개발하는 것.
• 다양한 센서 적재량을 갖는 이질적 에이전트를 협동 커버리지 작업에 적용할 때 발생하는 도전 과제를 해결하는 것.
• 통신 지연, 바람 난류, 에이전트 장애 등의 실세계 환경 교란 요소에 대한 강건성을 향상시키는 것.
• 환경 크기와 팀 구성 증가에 따라 다중 에이전트 정책의 확장성 향상.
• 신규로 제안된 픽셀 기반 상태 표현 및 고정 길이 임bedding 아키텍처를 통해 최소한의 겹침으로 효율적이고 협동적인 커버리지 실현.

제안 방법

• EMAC는 가변 길이의 에이전트 관측을 고정 길이 임베딩으로 변환하는 공유 인코더 네트워크를 갖춘 다중 에이전트 액터-크리틱 프레임워크를 활용한다.
• 임베딩 공간에 삼중 학습 손실이 적용되며, 동일한 전역 상태의 동시 시각화는 유도하고, 시간적으로 가까우나 기능적으로 다른 시각화는 밀어냄으로써 안정성을 확보한다.
• 근접 영역과 원거리 영역의 시각적 관측을 통합하여 좌표 기반 방법을 초월한 환경 인식 능력을 향상시킨다.
• 에이전트 간 파라미터 공유를 지원함으로써, 이질적인 센서 능력이 존재하는 환경에서도 효율적인 훈련이 가능하다.
• 실세계 교란 요소인 바람 난류, 통신 지연, 에이전트 손실을 도입한 맞춤형 시뮬레이션 환경을 구축하여 강건성 평가를 수행한다.
• 모든 과정을 엔드 투 엔드로 훈련하며, 부분 관측 가능하고 동적인 환경에서의 경험을 통해 정책을 학습한다.

실험 결과

연구 질문

• RQ1 이질적 에이전트를 활용한 비지도 환경 커버리지에 대해 다중 에이전트 강화학습 접근법이 분산 정책을 효과적으로 학습할 수 있는가?
• RQ2 제안된 고정 길이 관측 인코딩 및 삼중 손실이 이질적 다중 에이전트 환경에서 학습에 어떤 영향을 미치는가?
• RQ3 EMAC 알고리즘이 통신 지연 및 바람 난류와 같은 실세계 환경 교란 요소에 얼마나 강건한가?
• RQ4 환경 크기와 팀 규모 증가에 따라 EMAC는 어떻게 확장되는가?
• RQ5 특히 센서 적재량의 이질성에 따라 팀 구성이 커버리지 성능에 어떤 영향을 미치는가?

주요 결과

• EMAC는 비지도 환경 커버리지 작업에서 기존의 다중 차량 경로 계획 알고리즘과 독립적 DRL 기반 기준보다 뛰어난 성능을 보였다.
• 40%의 바람 난류 상황에서 EMAC는 격자를 커버하는 데 평균 28.19단계가 소요되었으며, 기준값 15.91단계 대비 77.2% 증가한 결과를 보였다.
• 두 에이전트가 장애를 입은 상황에서는 완료 시간이 41.81단계로 증가하였으며, 기준값 대비 67.5% 증가하였다.
• 32×32 격자(16×16 훈련 격자의 네 배)로 확장했을 때 완료 시간은 14배 증가하여 235.74단계에 도달하였다.
• 큰 에이전트(9×9 시야)의 비율을 늘일수록 평균 커버리지 시간은 3명의 소형 에이전트일 경우 32.72단계에서 3명의 대형 에이전트일 경우 22.79단계로 감소하였다.
• 동종 및 이종 팀 구성 모두에서 알고리즘이 원활한 성능을 보였으며, 중간 수준의 조합에서는 일관된 성능 향상이 관찰되었다.