[논문 리뷰] Actor-Critic Provably Finds Nash Equilibria of Linear-Quadratic Mean-Field Games

Zuyue Fu, Zhuoran Yang외 2명|arXiv (Cornell University)|2020. 04. 30.

Reinforcement Learning in Robotics참고 문헌 115인용 수 16

한 줄 요약

이 논문은 시스템 동역학에 대한 지식이 없이도 나슈 균형으로의 선형 수렴을 보장하는 이산시간 선형-제곱(mean-field) 게임을 위한 모델-프리(mean-field) 액터-크리틱 알고리즘을 제안한다. 선형 함수 근사와 함께, 이는 이러한 설정에서 이러한 방법에 대한 최초의 비점근(global) 수렴 보장이다.

ABSTRACT

We study discrete-time mean-field Markov games with infinite numbers of agents where each agent aims to minimize its ergodic cost. We consider the setting where the agents have identical linear state transitions and quadratic cost functions, while the aggregated effect of the agents is captured by the population mean of their states, namely, the mean-field state. For such a game, based on the Nash certainty equivalence principle, we provide sufficient conditions for the existence and uniqueness of its Nash equilibrium. Moreover, to find the Nash equilibrium, we propose a mean-field actor-critic algorithm with linear function approximation, which does not require knowing the model of dynamics. Specifically, at each iteration of our algorithm, we use the single-agent actor-critic algorithm to approximately obtain the optimal policy of the each agent given the current mean-field state, and then update the mean-field state. In particular, we prove that our algorithm converges to the Nash equilibrium at a linear rate. To the best of our knowledge, this is the first success of applying model-free reinforcement learning with function approximation to discrete-time mean-field Markov games with provable non-asymptotic global convergence guarantees.

연구 동기 및 목표

• 이산시간 선형-제곱 구조를 가진 평균장 마코프 게임에서 나슈 균형의 존재성과 유일성을 보장하기 위한 충분조건을 확립하는 것.
• 시스템 동역학에 대한 사전 지식 없이도 나슈 균형을 찾는 모델-프리 강화학습 알고리즘을 개발하는 것.
• 제안된 알고리즘이 나슈 균형으로 비점근적(global)으로 선형 속도로 수렴하는 것을 증명하는 것.
• 함수 근사를 사용하여 평균장 게임에 대해 증명 가능한 수렴 보장을 갖는 액터-크리틱 방법을 확장하는 것.

제안 방법

• 알고리즘은 현재 평균장 상태를 기반으로 각 에이전트의 최적 정책을 계산하기 위해 단일 에이전트 액터-크리틱 업데이트를 적용한다.
• 정책 개선을 위한 액터-크리틱 업데이트와 현재 정책 기반의 평균장 상태 업데이트를 번갈아가며 반복한다.
• 스케일러블 학습을 가능하게 하기 위해 가치 함수와 정책 표현 모두에 선형 함수 근사를 사용한다.
• 에이전트 수준의 제어를 인구 수준의 동역학에서 분리하기 위해 나슈 확실성 등가 원리를 기반으로 한다.
• 선형-제곱 동역학과 제곱형 비용 함수의 구조를 활용하여 선형 수렴 속도를 유도하는 수렴 분석을 수행한다.
• 모델-프리 설정에서 작동하여 전이 확률이나 비용 함수의 명시적 지식이 필요 없이 환경의 샘플 접근만 요구한다.

실험 결과

연구 질문

• RQ1 선형-제곱 평균장 게임에서 나슈 균형이 존재하고 유일하게 유지되는 조건은 무엇인가?
• RQ2 함수 근사를 사용하는 모델-프리 액터-크리틱 알고리즘이 이러한 게임에서 나슈 균형으로 전역적으로 수렴할 수 있는가?
• RQ3 이산시간 선형-제곱 평균장 게임에서 평균장 액터-크리틱 알고리즘은 어떤 수렴 속도를 달성할 수 있는가?
• RQ4 시스템 모델를 알지 못하는 조건에서 평균장 마코프 게임에서 비점근적 수렴 보장을 달성할 수 있는가?

주요 결과

• 논문은 선형-제곱 평균장 게임에서 나슈 균형의 존재성과 유일성을 보장하는 충분조건를 확립한다.
• 제안된 평균장 액터-크리틱 알고리즘은 선형 속도로 나슈 균형으로 수렴한다.
• 알고리즘은 시스템 동역학에 대한 지식이 없이도 모델-프리 방식으로 작동한다.
• 선형 함수 근사를 사용하여 비점근적 전역 수렴을 달성한다.
• 이 연구는 이산시간 평균장 마코프 게임에서 모델-프리 강화학습에 대해 증명 가능한 비점근적 수렴을 보장하는 최초의 작업이다.