[논문 리뷰] Major-Minor Mean Field Multi-Agent Reinforcement Learning

Kai Cui, Christian Fabián외 2명|arXiv (Cornell University)|2023. 03. 19.

Auction Theory and ApplicationsDecision Sciences인용 수 3

한 줄 요약

이 논문은 다수의 확률적 소규모 보조 에이전트와 하나 이상의 복잡한 주요 에이전트를 포함하는 시스템을 모델링하기 위한 협동 다에이전트 강화학습을 위한 새로운 프레임워크인 Major-Minor Mean Field Control (M3FC)를 소개한다. 이는 엄밀한 근사 성질과 동적 프rogramming 원리를 확립하며, 다양한 M3FC 유형 환경에서 효과적인 정책을 성공적으로 학습하는 M3FPPO 알고리즘을 제안한다. 이는 시스템 크기 간의 전이 가능성도 입증한다.

ABSTRACT

Multi-agent reinforcement learning (MARL) remains difficult to scale to many agents. Recent MARL using Mean Field Control (MFC) provides a tractable and rigorous approach to otherwise difficult cooperative MARL. However, the strict MFC assumption of many independent, weakly-interacting agents is too inflexible in practice. We generalize MFC to instead simultaneously model many similar and few complex agents -- as Major-Minor Mean Field Control (M3FC). Theoretically, we give approximation results for finite agent control, and verify the sufficiency of stationary policies for optimality together with a dynamic programming principle. Algorithmically, we propose Major-Minor Mean Field MARL (M3FMARL) for finite agent systems instead of the limiting system. The algorithm is shown to approximate the policy gradient of the underlying M3FC MDP. Finally, we demonstrate its capabilities experimentally in various scenarios. We observe a strong performance in comparison to state-of-the-art policy gradient MARL methods.

연구 동기 및 목표

• 기존의 평균장 제어(MFC) 방법은 동일한 소규모 에이전트만을 가정하여 영향력 있는 복잡한 주요 에이전트를 모델링할 수 없음을 해결하기 위해.
• 주요 에이전트와 확률적, 상관관계가 있는 소규모 에이전트를 모두 포함하는 이론적으로 탄탄한 협동 다에이전트 강화학습 프레임워크를 개발하기 위해.
• 유한 및 무한 시간 할당 설정에서 M3FC의 근사 성질과 동적 프로그래밍 원리를 확립하기 위해.
• M3FC 유형 문제에서 효과적인 정책을 학습할 수 있는 새로운 MARL 알고리즘인 M3FPPO를 설계하고 평가하기 위해.
• 소규모 시스템에서 학습된 정책이 더 큰 시스템으로 전이 가능한지 검증하기 위해.

제안 방법

• 주요 에이전트와 다수의 소규모 에이전트를 포함하는 시스템을 모델링하기 위해 마르코프 결정과정과 MFC의 이산 시간 일반화를 제안하며, 주요 에이전트 상태에 의해 영향을 받는 소규모 에이전트의 확률적 분포를 허용한다.
• 소규모 에이전트의 행동이 주요 에이전트 상태와 소규모 에이전트의 경험 분포에 의존하는 주요-소규모 평균장 제어(M3FC) 프레임워크를 도입하여 강한 상관관계를 가능하게 한다.
• M3FC 문제를 해결하기 위한 동적 프로그래밍 원리를 유도하여 정책의 순차적 최적화를 가능하게 한다.
• 무한 시간 할당 할인 케이스에서 최적의 정적 정책 존재성을 입증하며, 협동 MFC에 대한 이론적 기반을 확장한다.
• 주요-소규모 평균장 프oks성 정책 최적화(M3FPPO) 알고리즘을 제안하며, M3FC 문제에 특화된 새로운 MARL 알고리즘이다.
• 중앙집중적 훈련과 분산 실행(CTDE) 파라다임을 활용하며, 주요 에이전트는 전체 시스템 상태를 관찰하고, 소규모 에이전트는 국부적 관측과 주요 에이전트 상태에 기반해 행동한다.

실험 결과

연구 질문

• RQ1 기존의 i.i.d. 소규모 에이전트 가정을 초월해 주요 에이전트와 확률적, 상관관계가 있는 소규모 에이전트를 포함하는 평균장 제어 프레임워크를 어떻게 확장할 수 있는가?
• RQ2 유한 다에이전트 시스템에서 M3FC의 이론적 근사 성질은 무엇이며, 기존 MFC 모델과 비교해 어떻게 다른가?
• RQ3 M3FC에 대해 동적 프로그래밍 원리가 성립하는가? 그리고 이를 통해 최적의 정책을 유도할 수 있는가?
• RQ4 M3FPPO 알고리즘이 M3FC 유형 환경에서 효과적인 협동 정책을 학습할 수 있는가? 특히 소규모 시스템에서 학습하고 더 큰 시스템으로 전이했을 때 성능은 어떻게 되는가?
• RQ5 M3FPPO는 IPPO와 같은 표준 MARL 기준선과 비교해 성능 및 시스템 크기 간 일반화 능력에서 어떻게 다른가?

주요 결과

• M3FPPO는 2G, Formation, Beach Bar, Foraging, Potential 등 테스트된 모든 M3FC 환경에서 효과적인 정책을 성공적으로 학습하였으며, 소규모 유한 시스템에서 학습한 경우에도 뛰어난 성능을 보였다.
• Foraging 및 Beach Bar 환경에서, M3FPPO는 둘 다 직접 유한 시스템에서 학습한 경우 IPPO를 능가했으며, 더 높은 샘플 효율성과 정책 품질을 입증했다.
• 소규모 시스템(N=5,10,20)에서 M3FPPO를 학습하고 그 정책을 더 큰 시스템으로 전이한 결과, 유사한 성능가능성을 확보하여 강력한 일반화 및 전이 가능성의 가능성을 입증했다.
• 이론적 분석을 통해 무한 시간 할인 M3FC 설정에서 최적의 정적 정책 존재성이 확인되었으며, 이는 프레임워크의 이론적 타당성을 확장한다.
• M3FC에 대한 동적 프로그래밍 원리는 엄밀하게 유도되었으며, 순차적 정책 최적화를 가능하게 하고 확장 가능한 해법 기반을 제공한다.
• 소규모 에이전트가 주요 에이전트 상태를 통해 상관관계를 가지는 복잡한 의존성을 성공적으로 모델링하여, 개별 에이전트에 얽매이지 않는 시스템 수준의 효과를 모델링할 수 있었다.