[논문 리뷰] Learning Nearly Decomposable Value Functions Via Communication Minimization

Tonghan Wang, Jianhao Wang외 2명|arXiv (Cornell University)|2019. 10. 11.

Reinforcement Learning in Robotics참고 문헌 31인용 수 44

한 줄 요약

NDQ는 커뮤니케이션 최소화와 함께 거의 분해 가능한 Q-함수를 학습하여 에이전트가 대다수 독립적으로 행동하고 필요 시에만 소형 메시지를 교환하도록 함으로써 StarCraft II 과제에서 성능 저하 없이 커뮤니케이션을 80% 이상 감소시킵니다.

ABSTRACT

Reinforcement learning encounters major challenges in multi-agent settings, such as scalability and non-stationarity. Recently, value function factorization learning emerges as a promising way to address these challenges in collaborative multi-agent systems. However, existing methods have been focusing on learning fully decentralized value functions, which are not efficient for tasks requiring communication. To address this limitation, this paper presents a novel framework for learning nearly decomposable Q-functions (NDQ) via communication minimization, with which agents act on their own most of the time but occasionally send messages to other agents in order for effective coordination. This framework hybridizes value function factorization learning and communication learning by introducing two information-theoretic regularizers. These regularizers are maximizing mutual information between agents' action selection and communication messages while minimizing the entropy of messages between agents. We show how to optimize these regularizers in a way that is easily integrated with existing value function factorization methods such as QMIX. Finally, we demonstrate that, on the StarCraft unit micromanagement benchmark, our framework significantly outperforms baseline methods and allows us to cut off more than $80\\%$ of communication without sacrificing the performance. The videos of our experiments are available at https://sites.google.com/view/ndq.

연구 동기 및 목표

• 다중 에이전트 강화학습에서 중앙화된 학습과 분산 실행 간의 조정 실패(miscoordination)와 확장성 문제를 해결한다.
• 필요할 때 조정을 위해 학습 가능한 커뮤니케이션을 갖춘 nearly decomposable Q-functions (NDQ)을 도입한다.
• 메시지 엔트로피를 최소화하면서 표현력 있는 커뮤니케이션을 극대화하기 위한 정보이론적 정규화(regularizers)를 개발한다.
• 확장 가능한 학습 프레임워크에서 NDQ를 기존 가치 분해 방법들(예: QMIX)과 통합한다.

제안 방법

• 지역 히스토리와 다른 에이전트로부터의 선택적 메시지에 조건화된 분산 Q-함수를 학습한다.
• 인코더로 매개변수화된 분포에서 메시지가 뽑히는 확률적 메시지 임베딩 공간을 사용하여, 변분 최적화를 가능하게 한다.
• 다른 에이전트의 행동과 메시지 간의 상호정보량을 최대화하여 커뮤니케이션의 표현력을 보장한다.
• KL발산 기반 경계(bound)에 의해 간결한 커뮤니케이션을 보장하기 위해 메시지의 엔트로피(또는 가변성)를 최소화한다.
• 실용 가능한 변분 하한을 도출하고 이를 TD 손실과 통합하여 모든 구성요소를 엔드투엔드로 학습한다.
• 실행 중 의미 없는 커뮤니케이션을 제거하기 위해 잠재 메시지 평균을 임계값으로 잘라 비트 단위로 메시지를 차단할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 거의 분해 가능한 Q-함수가 최소 커뮤니케이션으로 완전히 분산 분해된 인수보다 협력 개선을 이끌 수 있는가?
• RQ2 정보이론적 정규화가 언제 커뮤니케이션할지, 무엇을 보낼지 학습하도록 어떻게 설계될 수 있는가?
• RQ3 메시지의 일부가 드롭될 때 커뮤니케이션 정규화가 성능과 로버스트니스에 어떤 영향을 미치는가?
• RQ4 NDQ가 StarCraft II 단위 미시관리와 같은 도전적 MARL 벤치마크에서 QMIX 및 TarMAC와 어떤 차이가 있는가?

주요 결과

• NDQ는 표준 조건에서 StarCraft II 단위 미시관리에서 기초 분해 방법보다 크게 우수한 성능을 보인다.
• NDQ는 StarCraft II 시나리오에서 성능 저하 없이 커뮤니케이션을 80% 이상 줄일 수 있다.
• 에이전트들은 최소한의 메시지로도 효과적인 협력을 학습하며, 때로는 한두 비트의 메시지로도 충분한 협력을 달성한다.
• NDQ는 QMIX+TarMAC와 같은 주의적(attentional) 커뮤니케이션 베이스라인을 능가하며 간결하고 표현력 있는 메시지 임베딩을 학습한다.
• 메시지의 80%가 드롭되더라도 NDQ는 경쟁력 있는 성능을 유지하여 커뮤니케이션 감소에 대한 강건성을 입증한다.