[논문 리뷰] Mean Field Multi-Agent Reinforcement Learning

Yaodong Yang, Rui Luo외 4명|arXiv (Cornell University)|2018. 02. 15.

Game Theory and Applications참고 문헌 50인용 수 246

한 줄 요약

이 논문은 많은 에이전트에 대해 다중 에이전트 강화 학습(MARL)을 확장하기 위한 평균장(mean field) 근사치를 도입하고, 특정 가정 하에서 내시 균형으로 수렴하는 MF-Q와 MF-AC 알고리즘을 제안하며, 가우시안 스퀴즈, Ising 모델, 그리고 전투 게임에서 이를 검증한다.

ABSTRACT

Existing multi-agent reinforcement learning methods are limited typically to a small number of agents. When the agent number increases largely, the learning becomes intractable due to the curse of the dimensionality and the exponential growth of agent interactions. In this paper, we present \emph{Mean Field Reinforcement Learning} where the interactions within the population of agents are approximated by those between a single agent and the average effect from the overall population or neighboring agents; the interplay between the two entities is mutually reinforced: the learning of the individual agent's optimal policy depends on the dynamics of the population, while the dynamics of the population change according to the collective patterns of the individual policies. We develop practical mean field Q-learning and mean field Actor-Critic algorithms and analyze the convergence of the solution to Nash equilibrium. Experiments on Gaussian squeeze, Ising model, and battle games justify the learning effectiveness of our mean field approaches. In addition, we report the first result to solve the Ising model via model-free reinforcement learning methods.

연구 동기 및 목표

• MARL에서 에이전트 수가 많은 경우 확장성 문제를 해결한다.
• 에이전트와 인구(population) 간 상호작용을 근사하는 평균장 프레임워크를 도입한다.
• 실용적인 평균장 Q-학습과 평균장 액터-크리틱 알고리즘을 개발하고 분석한다.
• 주어진 가정 하에서 Nash 균형으로의 수렴 보장을 확립한다.
• 가우시안 스퀴즈, Ising 모델, 그리고 혼합 협력-경쟁 게임에서 실험을 통해 효과를 보여준다.

제안 방법

• 다중 에이전트 Q-함수를 이웃의 평균 작용(ā)과 한 에이전트에 의존하도록 분해한다(Eq. 5).
• 쌍방 이웃 간의 상호작용을 평균장 항으로 대체하기 위해 평균장 근사를 적용한다(Eq. 6–8).
• Mean field Q-값을 ā(평균 작용)와 v^{j}_{MF}를 사용하는 TD 유사 규칙으로 업데이트한다(Eq. 9–10).
• 최적 반응을 반복적 평균 작용 업데이트와 볼츠만 정책 또는 명시적 액터-크리틱 네트워크(Eq. 11–12)로 계산한다.
• 평균장 연산자의 수축성 및 Assumptions 아래에서 MF-Q가 Nash-Q로 수렴함을 증명한다(정리 1).
• 신경망 함수 근사자와 그래디언트 기반 업데이트를 사용한 MF-Q(오프폴리시)와 MF-AC(온폴리시) 구현을 제시한다(Eq. 14).

실험 결과

연구 질문

• RQ1 에이전트 수가 많은 인구를 가진 MARL에서 평균장 근사가 확장 가능한 학습을 가능하게 하는가?
• RQ2 표준 MARL 가정 하에서 MF-Q와 MF-AC가 Nash 균형으로 수렴하는가?
• RQ3 가우시안 스퀴즈, Ising 모델, 그리고 혼합 협력-경쟁 게임과 같은 대표적 과제에서 평균장 방법의 성능은 어떠한가?

주요 결과

• MF-Q와 MF-AC는 다중 바디 상호작용을 두 에이전트 간 상호작용(에이전트 대 평균장)으로 변환하여 확장성을 달성한다.
• 평균장 연산자는 특정 가정 아래 수축적이며, Nash-Q 값으로의 수렴을 보장한다.
• 실험에서 Gaussian squeeze에서 학습 효과를 보이고, 명시적 에너지 함수 없이 Ising 모델을 해결하며, 혼합 전투 게임에서 높은 승리율을 달성한다.