[논문 리뷰] On the Approximation of Cooperative Heterogeneous Multi-Agent Reinforcement Learning (MARL) using Mean Field Control (MFC)

Washim Uddin Mondal, Mridul Agarwal외 2명|arXiv (Cornell University)|2021. 09. 08.

Reinforcement Learning in Robotics인용 수 11

한 줄 요약

이 논문은 K개의 서로 다른 에이전트 유형을 가진 협동적 비균질 다에이전트 강화학습(MARL)을 근사하기 위해 평균장 제어(MFC) 프레임워크를 제안하며, 유형 크기의 역제곱근에 비례하는 근사 오차 한계를 증명한다. 세 가지 다른 상호작용 시나리오에서 수렴 오차가 O(e_j) 이내이며, 표본 복잡도가 O(e_j^{-3})인 자연 정책 그래เดียน트 기반 알고리즘을 도입한다.

ABSTRACT

Mean field control (MFC) is an effective way to mitigate the curse of dimensionality of cooperative multi-agent reinforcement learning (MARL) problems. This work considers a collection of $N_{\\mathrm{pop}}$ heterogeneous agents that can be segregated into $K$ classes such that the $k$-th class contains $N_k$ homogeneous agents. We aim to prove approximation guarantees of the MARL problem for this heterogeneous system by its corresponding MFC problem. We consider three scenarios where the reward and transition dynamics of all agents are respectively taken to be functions of $(1)$ joint state and action distributions across all classes, $(2)$ individual distributions of each class, and $(3)$ marginal distributions of the entire population. We show that, in these cases, the $K$-class MARL problem can be approximated by MFC with errors given as $e_1=\\mathcal{O}(\\frac{\\sqrt{|\\mathcal{X}|}+\\sqrt{|\\mathcal{U}|}}{N_{\\mathrm{pop}}}\\sum_{k}\\sqrt{N_k})$, $e_2=\\mathcal{O}(\\left[\\sqrt{|\\mathcal{X}|}+\\sqrt{|\\mathcal{U}|}\ ight]\\sum_{k}\\frac{1}{\\sqrt{N_k}})$ and $e_3=\\mathcal{O}\\left(\\left[\\sqrt{|\\mathcal{X}|}+\\sqrt{|\\mathcal{U}|}\ ight]\\left[\\frac{A}{N_{\\mathrm{pop}}}\\sum_{k\\in[K]}\\sqrt{N_k}+\\frac{B}{\\sqrt{N_{\\mathrm{pop}}}}\ ight]\ ight)$, respectively, where $A, B$ are some constants and $|\\mathcal{X}|,|\\mathcal{U}|$ are the sizes of state and action spaces of each agent. Finally, we design a Natural Policy Gradient (NPG) based algorithm that, in the three cases stated above, can converge to an optimal MARL policy within $\\mathcal{O}(e_j)$ error with a sample complexity of $\\mathcal{O}(e_j^{-3})$, $j\\in\\{1,2,3\\}$, respectively.

연구 동기 및 목표

• 협동적 비균질 다에이전트 강화학습(MARL)에 대해 확장 가능하고 전역 수렴성이 보장되는 방법의 부족을 해결하기 위해.
• K개의 비균질 에이전트 유형에 대해 유한 인구 MARL과 평균장 제어(MFC) 간의 엄밀한 근사 보장을 수립하기 위해.
• 제안된 MFC 근사에 기반해 근사 최적 MARL 정책으로 수렴하는 표본 효율적인 정책 그래디언트 알고리즘을 개발하기 위해.
• 세 가지 상이한 상호작용 영역을 분석하기 위해: 공동 분포 의존성, 개별 유형 분포 의존성, 그리고 근사 인구 분포 의존성.
• 기존의 동일한 에이전트를 가정하는 전통적 MFC를 비균질 시스템으로 일반화하여 유형 간 상호작용과 유형별 동역학을 허용하기 위해.

제안 방법

• N_pop명의 비균질 에이전트로 구성된 인구를 K개의 유형으로 나누며, 각 유형은 N_k명의 동일한 에이전트로 구성되어 있어 유형 수준의 대칭성과 유형 간 상호작용을 모델링할 수 있도록 한다.
• 보상 및 전이 함수가 인구 분포에 어떻게 의존하는지에 따라 세 가지 상이한 MFC 근사 시나리오를 도출한다: 공동 분포, 개별 유형 분포, 근사 분포.
• MFC 극한에서 보상, 전이, 정책 함수의 리프시츠 연속성을 확립하여 총 변동 거리 기반 오차 전파 분석이 가능하도록 한다.
• 정규화된 유형 분포 μ̄ 및 ν̄를 사용하여 K유형 MARL 문제를 등가의 MFC 문제로 변환하여 모든 에이전트 유형 간 일관성을 확보한다.
• 안정성 및 수축 추론을 통한 근사 오차 한계를 증명하며, |X|, |U| 및 1/√N_k 항에 명시적인 의존성을 포함한다.
• MFC 문제를 위한 자연 정책 그래디언트(NPG) 알고리즘을 설계하여, 세 시나리오 각각에 대해 O(e_j) 이내 수렴 오차와 O(e_j^{-3}) 표본 복잡도를 보여준다.

실험 결과

연구 질문

• RQ1 K개의 비균질 에이전트 유형을 가진 협동적 MARL은 K유형 평균장 제어(MFC) 프레임워크로 효과적으로 근사될 수 있는가?
• RQ2 보상 및 전이의 의존성 구조에 따라 유한 인구 MARL과 그에 대응하는 MFC 극한 간의 근사 오차는 어떻게 되는가?
• RQ3 비균질 MARL 시스템에서 개별 에이전트 유형의 크기와 전체 인구 규모에 따라 오차는 어떻게 척도화되는가?
• RQ4 MFC 근사 기반으로 근사 최적 MARL 정책으로 수렴하는 표본 효율적인 정책 그래디언트 알고리즘을 설계할 수 있는가?
• RQ5 제안된 NPG 기반 알고리즘의 이론적 표본 복잡도 및 수렴 속도는 다양한 상호작용 영역에서 어떻게 되는가?

주요 결과

• 공동 분포 시나리오의 근사 오차는 e₁ = O((√|X| + √|U|)/N_pop × ∑ₖ √Nₖ)로 유한하며, 유형 크기의 역수에 비례함을 보여준다.
• 개별 유형 분포 케이스에서는 오차가 e₂ = O((√|X| + √|U|) × ∑ₖ 1/√Nₖ)로 나타나 더 작은 유형에 더 강한 의존성을 보인다.
• 근사 분포 시나리오에서는 오차가 e₃ = O((√|X| + √|U|) × (A/N_pop × ∑ₖ √Nₖ + B/√N_pop))로 표현되며, 추가로 상수 A와 B가 포함된다.
• 제안된 NPG 기반 알고리즘은 각 시나리오 j ∈ {1,2,3}에서 O(e_j) 이내 오차로 수렴하며, 표본 복잡도는 O(e_j^{-3})이다.
• 보상, 전이, 정책 함수의 리프시츠 연속성 가정 하에 이론적 한계가 도출되었으며, MFC 극한에서의 안정성을 보장한다.
• 이 프레임워크는 유형 간 상호작용과 유형별 동역학을 허용함으로써 전통적 MFC를 비균질 시스템으로 일반화하여, 릴레이싱 또는 스마트 그리드와 같은 실제 비균질 시스템에의 적용 가능성을 제공한다.