[논문 리뷰] Learning Individually Inferred Communication for Multi-Agent Cooperation

Ziluo Ding, Tiejun Huang외 1명|arXiv (Cornell University)|2020. 06. 11.

Reinforcement Learning in Robotics참고 문헌 26인용 수 19

한 줄 요약

이 논문은 다중 에이전트 강화학습에서 일對일 통신을 위한 인과적 사전 지식을 개별적으로 추론하는 I2C(Individually Inferred Communication)를 제안한다. 이는 연합 행동가치 함수를 기반으로 하여 통신 오버헤드를 줄이고 협동 성능을 향상시키는 방법이다. I2C는 협동 주행, 사냥개-사냥개, 교통 교차로 환경에서 기존 방법보다 뛰어나며, 인과적 영향을 통해 누굴과 통신할지 학습함으로써 복잡한 교통 상황에서 최대 37%까지 통신량을 감소시킨다.

ABSTRACT

Communication lays the foundation for human cooperation. It is also crucial for multi-agent cooperation. However, existing work focuses on broadcast communication, which is not only impractical but also leads to information redundancy that could even impair the learning process. To tackle these difficulties, we propose Individually Inferred Communication (I2C), a simple yet effective model to enable agents to learn a prior for agent-agent communication. The prior knowledge is learned via causal inference and realized by a feed-forward neural network that maps the agent's local observation to a belief about who to communicate with. The influence of one agent on another is inferred via the joint action-value function in multi-agent reinforcement learning and quantified to label the necessity of agent-agent communication. Furthermore, the agent policy is regularized to better exploit communicated messages. Empirically, we show that I2C can not only reduce communication overhead but also improve the performance in a variety of multi-agent cooperative scenarios, comparing to existing methods. The code is available at https://github.com/PKU-AI-Edge/I2C.

연구 동기 및 목표

• 다중 에이전트 강화학습(MARL)에서 방송 통신의 비효율성과 부족함을 해결하기 위해.
• 모든 에이전트에게 방송하는 대신, 인과적 영향에 기반해 누구와 통신할지를 학습하도록 하기 위해.
• 부분 관측 가능하고 비정상적인 환경에서 통신 오버헤드를 줄이고 협동 성능을 향상시키기 위해.
• 기존의 CTDE 프레임워크와 호환되는 통신 제어 메커니즘을 개발하기 위해.

제안 방법

• I2C는 에이전트의 국소 관측을 바탕으로 다른 에이전트와의 통신 대상에 대한 믿음을 생성하기 위해 피드포워드 신경망을 사용한다.
• 통신 사전 지식은 연합 행동가치 함수에서 유도된 인과 추론을 통해 학습되며, 한 에이전트의 행동이 다른 에이전트의 정책에 미치는 영향의 정도를 정량화한다.
• 인과 효과를 사용해 통신의 필요성을 레이블링하고, 이는 통신 사전 지식의 지도 학습을 가능하게 한다.
• 통신 메시지 수신 시 정책 학습을 향상시키기 위해 상관관계 정규화 항목을 도입한다.
• I2C는 시야 범위 내의 에이전트에 한해 통신을 제한하고, 모든 대 모든 방식의 브로드캐스트와는 달리 일대일 통신을 지원한다.
• I2C는 TarMAC과 같이 전체 통신 방식과 통합하여 오버헤드를 줄이기 위한 통신 제어 모듈로 통합될 수 있다.

실험 결과

연구 질문

• RQ1 에이전트 간의 인과적 영향을 활용해 다중 에이전트 강화학습(MARL)에서 의미 있는 선택적 일대일 통신을 위한 사전 지식을 학습할 수 있는가?
• RQ2 인과 추론을 통해 누굴과 통신할지를 학습함으로써 성능을 저하시키지 않고 통신 오버헤드를 줄일 수 있는가?
• RQ3 I2C는 협동 다중 에이전트 작업에서 전체 통신 및 통신 없음 기준선과 비교해 어떻게 성능을 내는가?
• RQ4 I2C는 기존의 전체 통신 방법에 효과적인 통신 제어 메커니즘으로 기능할 수 있는가?
• RQ5 상관관계 정규화가 에이전트가 수신한 메시지에 기반해 정책 학습을 향상시키는가?

주요 결과

• 교통 교차로의 중간 모드에서 I2C+TarMAC는 97.92%의 성공률을 기록하여 TarMAC(97.60%)를 능가했고, 통신 없음 기준선(79.19%)을 크게 앞섰다.
• 교통 교차로의 어려운 모드에서 I2C+TarMAC는 92.17%의 성공률을 기록했으며, TarMAC(89.24%)보다 3% 이상 높았다. IC3Net과 통신 없음 기준선은 각각 40.47%와 48.10%로 낮은 성능을 보였다.
• I2C는 중간 모드에서 TarMAC 대비 약 34%, 어려운 모드에서 약 37%의 통신 오버헤드를 감소시켜 효과적인 통신 제어를 입증했다.
• 절단 실험 결과, 인과 효과 추론이 통신의 필요성을 정확히 포착하고 있으며, 상관관계 정규화가 정책 성능 향상에 기여하는 것으로 확인되었다.
• I2C는 협동 주행 및 사냥개-사냥개 환경에서 통신 및 비통신 기준선을 모두 앞서 성능을 냈으며, 다양한 작업에 대한 일반화 능력을 보였다.
• 이 방법은 다양한 CTDE 프레임워크와 호환되며, 기존의 전체 통신 방법에 플러그인처럼 적용해 오버헤드를 줄이는 데 유용하다.