[논문 리뷰] Iterated Reasoning with Mutual Information in Cooperative and Byzantine Decentralized Teaming

Sachin Konan, Esmaeil Seraj외 1명|arXiv (Cornell University)|2022. 01. 20.

Cognitive Science and Mapping인용 수 6

한 줄 요약

이 논문은 각 에이전트의 정책을 이웃 에이전트의 정책에 조건화시켜 상호정보량(MI)을 명시적 정규화 없이 암묵적으로 최대화함으로써 협업을 향상시키는 새로운 완전 탈중앙화 다중에이전트 강화학습 프레임워크인 InfoPG를 제안한다. 인지계층 이론과 정책 그래adier 최적화를 통합함으로써 InfoPG는 기존 기준 대비 더 높은 샘플 효율성과 누적 보상으로 협업 MARL 환경에서 최첨단 성능을 달성한다.

ABSTRACT

Information sharing is key in building team cognition and enables coordination and cooperation. High-performing human teams also benefit from acting strategically with hierarchical levels of iterated communication and rationalizability, meaning a human agent can reason about the actions of their teammates in their decision-making. Yet, the majority of prior work in Multi-Agent Reinforcement Learning (MARL) does not support iterated rationalizability and only encourage inter-agent communication, resulting in a suboptimal equilibrium cooperation strategy. In this work, we show that reformulating an agent's policy to be conditional on the policies of its neighboring teammates inherently maximizes Mutual Information (MI) lower-bound when optimizing under Policy Gradient (PG). Building on the idea of decision-making under bounded rationality and cognitive hierarchy theory, we show that our modified PG approach not only maximizes local agent rewards but also implicitly reasons about MI between agents without the need for any explicit ad-hoc regularization terms. Our approach, InfoPG, outperforms baselines in learning emergent collaborative behaviors and sets the state-of-the-art in decentralized cooperative MARL tasks. Our experiments validate the utility of InfoPG by achieving higher sample efficiency and significantly larger cumulative reward in several complex cooperative multi-agent domains.

연구 동기 및 목표

• 기존 다중에이전트 강화학습(MARL) 방법, 특히 탈중앙화 환경에서의 반복적 사고와 전략적 조율의 부족을 해결하기 위해.
• 인간과 유사한 인지계층을 모방하기 위해 정책 조건화 학습을 통해 팀원의 이성과 행동을 암묵적으로 사고할 수 있도록 하기 위해.
• 명시적 정규화 없이도 에이전트 정책 간 상호정보량(MI)을 최대화하여 타당한 협업이 유도되도록 하기 위해.
• 이론적 사고력 추론과 공유된 효용 최적화를 지원하는 완전 탈중앙화된 그래프 기반 통신 구조를 개발하기 위해.
• 다양한 협업 MARL 환경, 특히 복잡하고 고차원적인 과제에서 프레임워크의 효과성을 검증하기 위해.

제안 방법

• 정책 그래디언트(PG) 최적화 중에 에이전트의 정책을 이웃 에이전트의 정책에 조건화시켜 재정의함.
• 에이전트 간 제한된 이성과 반복 전략적 사고를 모델링하기 위해 인지계층 이론의 k단계 사고 프레임워크를 활용함.
• 이웃의 정책에 정책을 조건화함으로써 InfoPG는 에이전트 간 상호정보량(MI)을 암묵적으로 증가시키며, 학습 중 MI에 대한 분석적 하한을 유도함으로써 이를 입증함.
• 시간에 따라 변화할 수 있는 통신 그래프를 사용하여 에이전트 간 탈중앙화된 국소 정보 교환을 가능하게 함.
• 이론적 분석과 개선된 강인성에 대비한 MI 상한을 포함한 InfoPG의 일반화된 변형을 제안함.
• 통신 정책에 순환 신경망(예: GRU 또는 VRNN)을 사용하고 표준 하이퍼파rameter를 사용해 엔드 투 엔드로 프레임워크를 학습함.

실험 결과

연구 질문

• RQ1 명시적 정규화 없이도 이웃 에이전트의 정책에 조건화된 정책 조건화가 에이전트 간 상호정보량(MI)을 암묵적으로 최대화할 수 있는가?
• RQ2 인지계층 이론의 k단계 사고를 통합함으로써 탈중앙화 다중에이전트 강화학습에서 협업이 어떻게 향상되는가?
• RQ3 InfoPG는 협업 MARL 환경에서 최첨단 기준 대비 더 높은 샘플 효율성과 누적 보상을 달성하는가?
• RQ4 사기성 에이전트가 팀에 존재하는 등 Byzantine 조건 하에서 InfoPG는 어떻게 성능을 발휘하는가?
• RQ5 제안된 프레임워크는 고차원 관측을 포함한 다양한 복잡한 협업 환경으로 일반화 가능한가?

주요 결과

• Co-op Pong, Pistonball, Multiwalker, StarCraft II 3M를 포함한 모든 평가 환경에서 InfoPG는 NC-A2C, CU, MOA, PR2-AC와 같은 여러 기준 대비 누적 수익에서 뛰어난 성능을 보였다.
• Co-op Pong 환경에서 InfoPG는 유의미하게 높은 누적 보상을 달성했으며, 에이전트가 먼저 공을 때리는 것을 학습한 후 소통를 통해 협력하는 잠재적 의사소통 행동을 유도함을 보였다.
• Pistonball 환경에서 InfoPG는 특히 사기성 에이전트가 존재하는 악성 조건 하에서도 뛰어난 샘플 효율성과 강인성을 보였으며, 높은 성능을 유지함을 확인함.
• StarCraft II 미니게임(3M 챌린지)에서 InfoPG는 복잡하고 부분관측 가능하며 고차원적인 과제에 대한 확장성을 입증하며 최첨단 성능을 달성함.
• 제거 실험을 통해 명시적 MI 정규화 없이도 정책 조건화만으로도 더 높은 MI와 더 나은 협업이 달성됨을 확인함으로써 암묵적 MI 최대화 메커니즘의 타당성을 입증함.
• GRU 또는 VRNN 기반의 통신 네트워크를 사용함으로써 InfoPG는 학습 과정에서 진화하는 효과적이고 적응형 통신 프로토콜을 학습할 수 있었으며, 초기 행동은 관측에 가까웠고 이후 이웃 정책을 통합함.