[논문 리뷰] Mean-Field Controls with Q-learning for Cooperative MARL: Convergence and Complexity Analysis

Haotian Gu, Xin Guo외 2명|arXiv (Cornell University)|2020. 02. 10.

Traffic control and management인용 수 14

한 줄 요약

이 논문은 평균장 제어(MFC) 근사법을 사용하는 협동 다중에이전트 강화학습(MARL)을 위한 모델 프리 커널 기반 Q-학습 알고리즘인 MFC-K-Q를 제안한다. 선형 수렴성과 에이전트 수 N에 독립적인 샘플 복잡도를 확립하며, N-에이전트 MARL 문제로의 근사 오차가 O(1/√N)임을 보이며, N > 50일 때 기존 MARL 방법들보다 뛰어난 성능을 경험적으로 입증한다.

ABSTRACT

Multi-agent reinforcement learning (MARL), despite its popularity and empirical success, suffers from the curse of dimensionality. This paper builds the mathematical framework to approximate cooperative MARL by a mean-field control (MFC) approach, and shows that the approximation error is of $\mathcal{O}(\frac{1}{\sqrt{N}})$. By establishing an appropriate form of the dynamic programming principle for both the value function and the Q function, it proposes a model-free kernel-based Q-learning algorithm (MFC-K-Q), which is shown to have a linear convergence rate for the MFC problem, the first of its kind in the MARL literature. It further establishes that the convergence rate and the sample complexity of MFC-K-Q are independent of the number of agents $N$, which provides an $\mathcal{O}(\frac{1}{\sqrt{N}})$ approximation to the MARL problem with $N$ agents in the learning environment. Empirical studies for the network traffic congestion problem demonstrate that MFC-K-Q outperforms existing MARL algorithms when $N$ is large, for instance when $N>50$.

연구 동기 및 목표

• 에이전트 수 N이 증가함에 따라 샘플 복잡도가 지수적으로 증가하는 협동 다중에이전트 강화학습(MARL)의 차원의 극복 문제를 해결하기 위해.
• 평균장 제어(MFC)를 사용한 협동 MARL의 수학적 프레임워크를 구축하여 대규모 에이전트 시스템에서의 확장 가능한 학습을 가능하게 하기 위해.
• 선형 수렴성과 N에 독립적인 샘플 복잡도를 확보하는 모델 프리, 커널 기반 Q-학습 알고리즘(MFC-K-Q)을 설계하기 위해.
• MFC 해법과 N-에이전트 MARL 문제 사이의 근사 오차가 O(1/√N)임을 증명하여 이 접근법의 확장성에 대한 이론적 근거를 제공하기 위해.
• 대규모 환경에서 기존 MARL 알고리즘보다 MFC-K-Q가 더 뛰어난 성능과 샘플 효율성을 보임을 경험적으로 입증하기 위해, 특히 N > 50일 경우 네트워크 트래픽 혼잡도와 같은 사례에서.

제안 방법

• 상태-행동 공간을 올리고 보상과 동역학을 집계하여 결정론적 평균장 제어 문제를 정의함으로써, 확률 측도 위에 동적 프로그래밍 원리(DPP)를 적용할 수 있도록 함.
• Q-함수와 벨먼 연산자의 커널 회귀 기반 근사법을 제안하며, 차원을 줄이기 위해 올린 상태-행동 공간 위에 ε-넷을 사용함.
• 샘플된 데이터에 대해 학습률 η = 1인 고정점 반복을 적용하며, 올린 MFC 동역학의 결정론적 성격을 활용해 수렴 분석을 단순화함.
• 기본 동역학의 정규성 성질을 활용하여 상태 공간과 행동 공간 양쪽에서 근사 오차를 제어함으로써 안정성과 수렴성을 확보함.
• ∞-노름 기반 수렴을 확립하고 혼합 가정 하에 Lp-노름으로 결과를 확장함으로써 신경망을 통한 함수 근사가 가능하게 함.
• 학습률 선택을 단순화하고, 확률적 동역학 기반 접근법 대비 샘플 복잡도를 감소시키는 데 기여하는 새로운 올림 기법을 활용함.

실험 결과

연구 질문

• RQ1 에이전트 수 N이 증가함에 따라 평균장 제어가 협동 MARL에 대해 확장 가능한 근사법을 제공할 수 있으며, 이에 대한 증명 가능한 오차 한계를 갖는가?
• RQ2 커널 회귀 기반 모델 프리 Q-학습 알고리즘이 평균장 제어 설정에서 선형 수렴성과 N에 독립적인 샘플 복잡도를 달성하는가?
• RQ3 평균장 제어 해법과 진정한 N-에이전트 MARL 문제 사이의 근사 오차는 얼마이며, 이는 N에 따라 어떻게 척도가 변하는가?
• RQ4 제안된 MFC-K-Q 알고리즘이 대규모 환경에서 기존 MARL 알고리즘과 비교해 성능 및 샘플 효율성 면에서 어떻게 다른가?
• RQ5 상태-행동 공간에 대한 올림 기법이 결정론적 동역학을 가능하게 하여 MFC 학습에서 수렴 분석을 단순화하고 샘플 복잡도를 감소시키는 데 기여하는가?

주요 결과

• 평균장 제어 해법과 N-에이전트 MARL 문제 사이의 근사 오차는 O(1/√N)이며, 이는 확장성에 대한 이론적 보장을 제공한다.
• MFC-K-Q 알고리즘은 평균장 제어 문제에 대해 선형 수렴 속도를 달성하였으며, 이는 MARL 문헌에서 처음으로 이루어진 성과이다.
• MFC-K-Q의 샘플 복잡도는 에이전트 수 N에 독립적이며, 오직 상태-행동 공간의 크기만에 따라 척도가 결정되며 N에 따라 변하지 않는다.
• 네트워크 트래픽 혼잡도에 대한 경험적 결과에서 MFC-K-Q는 N > 50일 때 기존 MARL 알고리즘들을 능가함을 보이며, 대규모 설정에서 실용적 이점을 확인한다.
• 혼합 행동에 대한 핵심 레마가 만족되는 한, 다양한 탐색 전략(예: 가우시안 및 볼츠만 탐색)에서도 수렴성 및 샘플 복잡도 결과가 유지된다.
• 리프시츠 상수를 제어함으로써 신경망 근사에서의 일반화 성능이 향상되어 알고리즘 성능이 더욱 향상된다.