[논문 리뷰] Learning Multiagent Communication with Backpropagation

Sainbayar Sukhbaatar, Arthur Szlam외 1명|arXiv (Cornell University)|2016. 05. 25.

Reinforcement Learning in Robotics참고 문헌 37인용 수 276

한 줄 요약

CommNet은 협력하는 에이전트 간의 연속적이고 미분가능한 의사소통을 가능하게 하며, 역전파를 통해 엔드투엔드로 학습되어 부분 관찰 가능한 다에이전트 과제의 성능을 향상시킨다.

ABSTRACT

Many tasks in AI require the collaboration of multiple agents. Typically, the communication protocol between agents is manually specified and not altered during training. In this paper we explore a simple neural model, called CommNet, that uses continuous communication for fully cooperative tasks. The model consists of multiple agents and the communication between them is learned alongside their policy. We apply this model to a diverse set of tasks, demonstrating the ability of the agents to learn to communicate amongst themselves, yielding improved performance over non-communicative agents and baselines. In some cases, it is possible to interpret the language devised by the agents, revealing simple but effective strategies for solving the task at hand.

연구 동기 및 목표

• 커뮤니케이션이 사전에 규정되지 않고 학습되는 협력형 다중 에이전트 태스크를 동기 부여하고 가능하게 한다.
• 정상적으로 신경망 모델(CommNet)을 도입하여 에이전트의 정책과 함께 연속적 커뮤니케이션을 학습한다.
• 부분 관찰성과 동적 에이전트 수를 가진 다양한 태스크에 걸쳐 접근법을 시연한다.
• 학습된 커뮤니케이션 패턴의 해석 가능성을 보인다.

제안 방법

• 각 에이전트가 자신의 상태와 브로드캐스트된 연속 커뮤니케이션 벡터를 받는 공유 신경 모듈을 실행하는 CommNet을 제안한다.
• 각 단계가 에이전트의 숨겨진 상태를 업데이트하고 다른 상태를 정규화된 합으로 집계하여 c^i_j를 형성하는 다중 커뮤니케이션 단계(K)의 전파 스킴을 정의한다.
• 지역 연결성, 스킵 연결, 시간적 재귀(RNN/LSTM)를 포함한 특수 사례를 형식화한다.
• 감시가 가능할 때는 역전파를 통해 엔드투엔드로 학습하고; 그렇지 않으면 필요에 따라 정책 그라디언트와 베이스라인으로 강화학습을 사용한다.
• 비교를 위한 베이스라인으로 독립 컨트롤러, 완전 연결 네트워크 및 이산 커뮤니케이션 방법을 제공한다.
• 모델을 지렛대 당기기 게임, MazeBase 기반의 교통 교차로 및 전투 시나리오, 그리고 다양한 응용 테스트를 위한 bAbI QA 작업에 적용하여 다재다능함을 시험한다.

실험 결과

연구 질문

• RQ1 에이전트들이 부분 관찰하에서 협업을 개선하는 커뮤니케이션 프로토콜을 공동으로 학습할 수 있는가?
• RQ2 연속적이고 미분가능한 커뮤니케이션이 비커뮤니케이션 또는 이산적으로 커뮤니케이션하는 베이스라인보다 더 나은 성능을 낳는가?
• RQ3 동적 에이전트 수와 가시성의 변화에 따라 커뮤니케이션 메커니즘은 얼마나 확장되는가?
• RQ4 학습된 커뮤니케이션에서 어떤 해석가능한 구조나 패턴이 나타나는가?
• RQ5 다양한 다중 에이전트 태스크(교통, 전투, QA)에서 CommNet은 강력한 베이스라인에 비해 어떠한 성능을 보이나?

주요 결과

• CommNet은 부분 가시성 있는 태스크에서 독립 컨트롤러 및 완전 연결 베이스라인을 능가한다.
• 지렛대 당기기 태스크에서 CommNet은 감독 학습하에서 거의 완벽한 성능, 강화 학습하에서도 강력한 성능을 달성한다.
• 교통 교차로 실험에서 CommNet은 MLP, RNN, LSTM 모듈 전반에서 실패율을 크게 감소시키며, 로컬 연결이 어려운 변형에서 최상의 성능을 보인다.
• 전투 태스크에서 CommNet은 팀 크기 및 가시성에 따라 승률을 지속적으로 향상시키며, LSTM 모듈이 종종 최상이다.
• bAbI QA 태스크에서 CommNet은 독립적인 MLP 베이스라인과 비교하여 평균 오차를 감소시키지만, 장황한 이야기 추론에 특화된 MemN2N보다 뒤처진다.
• 분석에 따르면 학습된 커뮤니케이션은 희소하지만 의미가 있으며, 작업 관련 이벤트에 대응하는 뚜렷한 커뮤니케이션 클러스터가 나타난다.