[논문 리뷰] Breaking the Curse of Dimensionality in Multiagent State Space: A Unified Agent Permutation Framework

Xiaotian Hao, Hangyu Mao외 6명|arXiv (Cornell University)|2022. 03. 10.

Reinforcement Learning in Robotics인용 수 10

한 줄 요약

이 논문은 다중에이전트 강화학습(MARL)에서 차원의 극복(curse of dimensionality)을 극복하기 위해 순열 불변성(PI)과 순열 동치성(PE)을 활용하는 통합된 에이전트 순열 프레임워크를 제안한다. 동적 순열 네트워크(DPN)와 하이퍼 정책 네트워크(HPN)를 도입함으로써 개별 엔터티 기반의 PI 입력 모듈과 PE 출력 모듈을 통해 상태공간 복잡도를 감소시키며, 이는 거의 모든 어려운 및 초어려운 SMAC 시나리오에서 100% 승리율을 달성함으로써 이전에는 이룰 수 없었던 성과이다.

ABSTRACT

The state space in Multiagent Reinforcement Learning (MARL) grows exponentially with the agent number. Such a curse of dimensionality results in poor scalability and low sample efficiency, inhibiting MARL for decades. To break this curse, we propose a unified agent permutation framework that exploits the permutation invariance (PI) and permutation equivariance (PE) inductive biases to reduce the multiagent state space. Our insight is that permuting the order of entities in the factored multiagent state space does not change the information. Specifically, we propose two novel implementations: a Dynamic Permutation Network (DPN) and a Hyper Policy Network (HPN). The core idea is to build separate entity-wise PI input and PE output network modules to connect the entity-factored state space and action space in an end-to-end way. DPN achieves such connections by two separate module selection networks, which consistently assign the same input module to the same input entity (guarantee PI) and assign the same output module to the same entity-related output (guarantee PE). To enhance the representation capability, HPN replaces the module selection networks of DPN with hypernetworks to directly generate the corresponding module weights. Extensive experiments in SMAC, Google Research Football and MPE validate that the proposed methods significantly boost the performance and the learning efficiency of existing MARL algorithms. Remarkably, in SMAC, we achieve 100% win rates in almost all hard and super-hard scenarios (never achieved before).

연구 동기 및 목표

• 에이전트 수가 증가함에 따라 상태공간과 행동공간의 지수적 증가를 해결한다.
• 차원의 극복으로 인한 낮은 확장성과 낮은 샘플 효율성 문제를 해결한다.
• 순열 불변성(PI)과 순열 동치성(PE)을 유도적 편향으로 활용하여 상태공간 복잡도를 감소시킨다.
• 기존 MARL 알고리즘의 아키텍처를 대체하지 않고도 통합할 수 있는 일반화된 프레임워크를 설계한다.
• SMAC, MPE, Google Research Football를 포함한 다양한 MARL 벤치마크에서 뛰어난 성능과 샘플 효율성을 달성한다.

제안 방법

• 다중에이전트 상태공간 크기를 1/m! 배 감소시키기 위해 PI 및 PE 유도적 편향을 활용하는 통합 프레임워크를 제안한다.
• 입력에 대해 PI를 강제하고 출력에 대해 PE를 강제하기 위해 두 개의 별도된 모듈 선택 네트워크를 갖춘 동적 순열 네트워크(DPN)를 도입한다.
• DPN의 모듈 선택을 하이퍼네트워크로 대체하여 모듈 가중치를 엔드 투 엔드로 생성하는 하이퍼 정책 네트워크(HPN)를 설계한다.
• 엔터티 분해된 상태 및 행동 표현을 사용하며, 입력 특징에는 PI가 적용되고, 출력 행동에는 PE가 적용되며 일대일 대응이 이루어진다.
• 모듈 선택 또는 하이퍼네트워크에서 공유된 어텐션 메커니즘을 통해 순열 간 일관된 모듈 할당을 보장한다.
• QMIX, MAPPO, QPLEX와 같은 기존 MARL 알고리즘의 핵심 학습 메커니즘을 수정하지 않고 프레임워크를 통합한다.

실험 결과

연구 질문

• RQ1 PI 및 PE 유도적 편향이 MARL에서 다중에이전트 상태공간 크기를 효과적으로 줄이는 데 활용될 수 있는가?
• RQ2 PI 입력 모듈과 PE 출력 모듈을 통합한 프레임워크가 샘플 효율성과 확장성에 어떻게 기여하는가?
• RQ3 제안된 DPN 및 HPN 방법이 다양한 환경에서 기존의 PI/PE 베이스라인 및 표준 MARL 알고리즘을 초월할 수 있는가?
• RQ4 PI 입력 모듈의 표현 능력이 전체 성능에 미치는 영향은 어느 정도인가?
• RQ5 이 프레임워크는 다양한 MARL 알고리즘과 벤치마크로 일반화될 수 있는가?

주요 결과

• HPN-QMIX는 모든 어려운 및 초어려운 SMAC 시나리오에서 100% 승리율을 기록하였으며, 이는 이전에 어떤 MARL 알고리즘으로도 달성되지 못했던 결과이다.
• HPN-MAPPO와 HPN-QPLEX는 SMAC의 5m_vs_6m 및 3s5z_vs_3s6z 시나리오에서 기존의 베이스라인에 비해 뚜렷이 뛰어난 성능을 보이며 알고리즘 간 일반화 능력을 입증한다.
• MPE 협동 주행 및 사냥-도망 시나리오에서 HPN-MADDPG는 GNN 기반의 PIC, DA-MADDPG, 그리고 베이스라인 MADDPG를 모두 능가하며, 더 뛰어난 PI 설계 능력을 보여준다.
• Google Research Football에서 HPN-QMIX는 3_vs_1_with_keeper 및 counterattack_hard 시나리오에서 SOTA인 CDS-QMIX를 초월하여 평균 승리율이 높게 나타났다.
• 절단 실험 결과, PE 출력 레이어와 하이퍼네트워크를 통한 향상된 입력 표현 능력이 성능 향상에 핵심 요소임을 확인하였다.
• 단순히 모델 크기를 늘리는 것(예: BIG-QMIX)은 성능 향상을 이끌지 못하며, 파rameter 스케일링보다 PI/PE 설계가 훨씬 효과적임을 확인하였다.