[논문 리뷰] Learning to Communicate Using Counterfactual Reasoning

Simon Vanneste, Astrid Vanneste외 6명|arXiv (Cornell University)|2020. 06. 12.

Reinforcement Learning in Robotics참고 문헌 34인용 수 6

한 줄 요약

이 논문은 다중 에이전트 강화학습에서 보상 할당 문제를 해결하기 위해 중심화된 크리틱에서 반사적 추론을 사용하는 새로운 방법인 MACC (Multi-Agent Counterfactual Communication)를 제안한다. 행동과 메시지의 영향을 반사적 방법으로 모델링하고 사회적 손실 함수를 도입함으로써, 에이전트들은 효과적이고 영향을 받을 수 있는 의사소통 프로토콜을 학습할 수 있으며, 네 가지 Particle 환경 시나리오에서 COMA 및 MADDPG를 능가하고, 최대 6개의 에이전트가 포함된 행렬 환경에서도 확장성을 입증한다.

ABSTRACT

Learning to communicate in order to share state information is an active problem in the area of multi-agent reinforcement learning (MARL). The credit assignment problem, the non-stationarity of the communication environment and the creation of influenceable agents are major challenges within this research field which need to be overcome in order to learn a valid communication protocol. This paper introduces the novel multi-agent counterfactual communication learning (MACC) method which adapts counterfactual reasoning in order to overcome the credit assignment problem for communicating agents. Secondly, the non-stationarity of the communication environment while learning the communication Q-function is overcome by creating the communication Q-function using the action policy of the other agents and the Q-function of the action environment. Additionally, a social loss function is introduced in order to create influenceable agents which is required to learn a valid communication protocol. Our experiments show that MACC is able to outperform the state-of-the-art baselines in four different scenarios in the Particle environment.

연구 동기 및 목표

• 에이전트가 개별 행동이나 메시지에 보상을 할당하는 데 어려움을 겪는 다중 에이전트 의사소통 학습에서의 보상 할당 문제를 해결하기 위해.
• 다른 에이전트의 정책과 환경의 Q함수를 사용하여 의사소통 Q함수 학습 중 환경의 비정적 특성을 완화하기 위해.
• 수신 에이전트가 수신 메시지에 영향을 받도록 하기 위해 사회적 손실 함수를 도입하여 사회적 행동을 촉진하기 위해.
• 더 큰 다중 에이전트 시스템에서의 확장성을 위해 정확한 반사적 계산의 계산 효율적인 근사치를 개발하기 위해.
• 다양한 의사소통 토폴로지, 특히 다대다 설정을 포함한 다양한 환경에서 방법의 성능 및 확장성 검증하기 위해.

제안 방법

• MACC는 중심화된 크리틱을 사용하여 행동과 메시지의 반사적 값을 계산함으로써 협동적 MARL에서 정밀한 보상 할당을 가능하게 한다.
• 다른 에이전트의 정책과 환경의 Q함수를 사용하여 의사소통 Q함수를 구성함으로써 학습 중 비정적 특성을 감소시킨다.
• 계산 비용을 줄이면서 성능를 유지하기 위해 두 가지 근사 방법—MACC Sampling Mean 및 MACC Agent-Based Sampling—을 제안한다.
• 수신 에이전트가 메시지에 영향을 받도록 유도하기 위해 사회적 손실 함수를 도입하여 유효한 의사소통 프로토콜 학습을 가능하게 한다.
• 중앙 집중적 훈련, 분산 실행(CTDE) 철학에 따라 작동하며, 훈련 중에는 중심 집중적 계산을 수행하지만 추론은 분산적으로 유지한다.
• 대칭 환경에서 공유된 파rameter를 가진 독립적 정책을 사용하여 MACC 변종을 평가함으로써 확장성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 중심화된 크리틱에서의 반사적 추론이 다중 에이전트 시스템에서 행동 정책과 의사소통 정책 양쪽에 대한 보상 할당을 향상시키는가?
• RQ2 반사적 계산의 근사 방법이 대규모 다중 에이전트 환경에서 학습 성능과 확장성에 어떤 영향을 미치는가?
• RQ3 사회적 손실 함수가 수신 에이전트의 영향 수용성을 효과적으로 향상시켜 유효한 의사소통 프로토콜의 탄생을 가능하게 하는가?
• RQ4 MACC는 COMA 및 MADDPG와 같은 최첨단 방법과 비교해 복잡한 다양한 의사소통 시나리오에서 어떻게 성능를 발휘하는가?
• RQ5 MACC는 특히 복잡한 다대다 의사소통 토폴로지에서 얼마나 큰 다중 에이전트 시스템까지 확장 가능한가?

주요 결과

• MACC 변종은 네 가지 Particle 환경 시나리오에서 COMA 및 MADDPG를 모두 능가하여 평균 보상이 높고 수렴 속도가 빠르다.
• 행렬 환경에서 2, 4, 6명의 에이전트가 있을 때 MACC Exact 및 MACC Agent-Based Sampling이 가장 높은 보상을 기록하여 강력한 확장성을 입증한다.
• MACC Sampling Mean은 확률적 샘플링으로 인해 변동성이 크고, 에이전트 수가 증가함에 따라 수렴 속도가 느려지는 경향을 보였다.
• 사회적 손실 함수는 핵심적이다: 사회적 손실이 없는 MACC Exact는 보상이 0.5를 약간 넘는 정도에 머물러 기본적인 프로토콜만 학습하는 것으로 나타났고, 전체 변종 MACC는 거의 최적 수준의 성능에 도달했다.
• 더 큰 설정에서 MACC Agent-Based Sampling이 MACC Sampling Mean을 略적으로 뛰어넘어 고차원적 에이전트 공간에서 더 나은 분산 제어를 보였다.
• 정확한 MACC 방법는 6명의 에이전트가 있을 때도 높은 성능를 유지하여 복잡하고 확장 가능한 다중 에이전트 의사소통 시스템에 실현 가능함을 확인했다.