[논문 리뷰] Learning to Communicate in Multi-Agent Reinforcement Learning : A Review

Mohamed Salah Zaïem, Etienne Bennequin|arXiv (Cornell University)|2019. 11. 13.

Reinforcement Learning in Robotics인용 수 3

한 줄 요약

이 논문은 부분적으로 관찰 가능한 환경에서 다중 에이전트 강화학습의 통신 메커니즘을 검토하며, 딥 리커런트 Q-네트워크 기반 모델이 에이전트가 협동적 통신 전략을 학습할 수 있도록 돕는다. 통신 프로토콜의 품질을 작업 성능과 독립적으로 평가하기 위해 새로운 엔트로피 기반 지표를 제안하고, 협동-경쟁적 환경에서의 통신 비용을 연구하기 위해 4명의 플레이어가 참가하는 핑퐁 환경을 도입한다.

ABSTRACT

We consider the issue of multiple agents learning to communicate through reinforcement learning within partially observable environments, with a focus on information asymmetry in the second part of our work. We provide a review of the recent algorithms developed to improve the agents' policy by allowing the sharing of information between agents and the learning of communication strategies, with a focus on Deep Recurrent Q-Network-based models. We also describe recent efforts to interpret the languages generated by these agents and study their properties in an attempt to generate human-language-like sentences. We discuss the metrics used to evaluate the generated communication strategies and propose a novel entropy-based evaluation metric. Finally, we address the issue of the cost of communication and introduce the idea of an experimental setup to expose this cost in cooperative-competitive game.

연구 동기 및 목표

• 부분적으로 관찰 가능한 환경에서 통신 기능을 갖춘 다중 에이전트 강화학습을 가능하게 하는 최신 알고리즘을 검토하는 것.
• 에이전트가 메시지 교환을 통해 정보를 공유하는 방식, 특히 딥 리커런트 Q-네트워크를 사용한 방식을 분석하는 것.
• 자발적으로 발생한 통신 프로토콜의 품질을 평가하며, 특히 해석 가능성과 자연어와의 유사성에 초점을 맞추는 것.
• 작업 성능과 무관하게 통신 효과성을 평가할 수 있는 새로운 정보 이론 기반 평가 지표를 제안하는 것.
• 새로운 실험 설정을 통해 협동-경쟁적 다중 에이전트 환경에서의 통신 비용을 조사하는 것.

제안 방법

• 다중 에이전트 환경에서 개별 에이전트의 가치 함수를 표현하기 위해 딥 Q-네트워크(DQN)와 인디펜던트 DQN을 사용한다.
• DQN 기반 모델의 훈련을 안정화시키기 위해 경험 리플레이와 타겟 네트워크를 적용한다.
• 언어-엔트로피 진화 지표를 도입: H(m₁,…,mₜ) = −Σₛ pₜ(s) log(pₜ(s))로, 메시지를 통해 정보의 불확실성 감소를 측정한다.
• 공개, 비공개 또는 통신 없음 등의 다양한 통신 제약 조건을 가진 4명의 플레이어가 참가하는 핑퐁 게임 설정을 제안하여 통신 비용을 연구한다.
• 베이지안 액션 디코더를 사용해 상태에 대한 사후 믿음 분포를 추정하고, 이를 엔트로피 기반 지표 계산에 활용한다.
• 학습된 메시지가 미리 보지 않은 개념 조합으로 일반화되는지를 테스트하기 위해 제로샷 구성성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 통신 채널은 부분적으로 관찰 가능한 환경에서 다중 에이전트 정책 성능을 어떻게 향상시키는가?
• RQ2 자발적으로 발생한 통신 프로토콜은 구조적 및 해석 가능성 측면에서 자연어와 얼마나 유사한가?
• RQ3 정보 이론 기반 지표를 사용해 작업 성능과 무관하게 통신 프로토콜을 평가할 수 있는가?
• RQ4 통신 비용은 협동-경쟁적 다중 에이전트 게임에서 전략적 행동에 어떻게 영향을 미치는가?
• RQ5 협동 작업에서 통신의 분류 능력을 측정하는 데 메시지 엔트로피는 어떤 역할을 하는가?

주요 결과

• 엔트로피 기반 지표는 메시지가 유발하는 불확실성 감소를 효과적으로 캡처하며, 각 메시지의 정보성 정도를 나타낸다.
• 한바이 게임에서 베이지안 액션 디코더는 통신 관행이 형성됨에 따라 공개 믿음 분포의 엔트로피가 감소하는 경향을 보였다.
• 이미지 기술 작업에서 사용된 순수도 지표는 인간의 거시적 표현에 편향되어 있으며, 자연스러운 에이전트 간의 통신을 반영하지 못할 수 있다.
• 제로샷 구성성 평가 결과, 학습된 언어가 새로운 개념 조합으로 일반화됨을 확인하여 구성적 구조가 있음을 시사한다.
• 다양한 통신 가시성 조건을 가진 4명의 플레이어가 참가하는 제안된 핑퐁 환경은 정보 공유와 경쟁적 반응 간의 전략적 트레이드오프를 연구하는 데 유용하다.
• 저자들은 통신 비용이 특히 상대의 행동에 영향을 주는 경쟁적 설정에서 팀 정책의 진화에 영향을 미친다는 점을 관찰했다.