[논문 리뷰] Approximate Fictitious Play for Mean Field Games

Romuald Élie, Julien Pérolat외 3명|arXiv (Cornell University)|2019. 07. 04.

Experimental Behavioral Economics Studies참고 문헌 21인용 수 19

한 줄 요약

이 논문은 에이전트가 모델-프리 강화학습(RL)을 통해 최적 반응을 학습함으로써 표준 MFG 동역학 하에서 근사 비정적 나시 균형으로 수렴하는 평균장 게임(MFG)을 위한 근사 허구적 플레이 프레임워크를 제안한다. 이는 연속된 행동 공간에서 이러한 균형으로의 모델-프리 RL 알고리즘의 이론적 수렴을 처음으로 확립한다.

ABSTRACT

The theory of Mean Field Games (MFG) allows characterizing the Nash equilibria of an infinite number of identical players, and provides a convenient and relevant mathematical framework for the study of games with a large number of agents in interaction. Until very recently, the literature only considered Nash equilibria between fully informed players. In this paper, we focus on the realistic setting where agents with no prior information on the game learn their best response policy through repeated experience. We study the convergence to a (possibly approximate) Nash equilibrium of a fictitious play iterative learning scheme where the best response is approximately computed, typically by a reinforcement learning (RL) algorithm. Notably, we show for the first time convergence of model free learning algorithms towards non-stationary MFG equilibria, relying only on classical assumptions on the MFG dynamics. We illustrate our theoretical results with a numerical experiment in continuous action-space setting, where the best response of the iterative fictitious play scheme is computed with a deep RL algorithm.

연구 동기 및 목표

• 에이전트가 사전 지식 없이 반복적 상호작용을 통해 학습하는 현실적인 학습 시나리오를 모델링하기 위해.
• 최적 반응이 강화학습을 통해 근사될 때 반복적 허구적 플레이의 수렴을 분석하기 위해.
• 기존의 MFG 동역학에 대한 고전적 가정만을 사용하여 비정적 MFG 균형으로의 이론적 수렴 결과를 확장하기 위해.
• 수치적 검증을 통해 연속된 행동 공간 MFG 환경에서 모델-프리 RL의 실현 가능성을 입증하기 위해.

제안 방법

• 다른 이의 행동 빈도의 경험적 분포를 기반으로 에이전트가 정책을 갱신하는 반복적 허구적 플레이 기반의 방법을 사용한다.
• 딥 RL과 같은 모델-프리 강화학습 알고리즘을 사용하여 최적 반응 정책을 근사한다.
• 역사적 행동 빈도와 근사 최적 반응을 기반으로 에이전트 정책을 갱신하는 학습 규칙을 도입한다.
• 에이전트의 행동 동역학에 대한 표준 가정, 즉 리프시츠 연속성과 가치 함수의 규칙성 등을 기반으로 한다.
• 연속된 행동 공간에서 정책과 가치 함수를 표현하기 위해 함수 근사(예: 딥 신경망)를 사용한다.
• 정책과 가치 함수 추정을 안정화하기 위해 이중 시간 척도 학습 업데이트를 활용한다.

실험 결과

연구 질문

• RQ1 최적 반응이 근사된 경우 허구적 플레이가 평균장 게임에서 나시 균형으로 수렴할 수 있는가?
• RQ2 고전적 MFG 가정 하에서 모델-프리 강화학습이 비정적 MFG 균형으로 수렴하는가?
• RQ3 연속된 행동 공간에서 딥 RL을 통해 최적 반응을 계산할 경우 수렴 행동은 어떻게 변화하는가?
• RQ4 사전 지식이 없는 에이전트를 포함한 대규모 인구 게임에서 학습에 대한 이론적 보장은 무엇인가?

주요 결과

• 논문은 근사 허구적 플레이 프레임워크가 평균장 게임에서 (어느 정도 근사된) 나시 균형으로 수렴함을 증명한다.
• 수렴은 리프시츠 연속성과 매끄러움을 포함한 MFG 동역학에 대한 표준 가정 하에서 확립된다.
• 이 프레임워크는 최적 반응 근사를 위한 딥 강화학습을 사용하여 연속된 행동 공간에서의 학습을 성공적으로 지원한다.
• 수치 실험을 통해 연속된 행동 공간 MFG 환경에서 학습 동역학의 수렴성과 안정성을 확인한다.
• 고전적 가정 하에서 비정적 MFG 균형으로의 모델-프리 RL 알고리즘의 이론적 수렴 보장을 처음으로 확보한다.
• 이 방법은 게임의 구조에 대한 사전 지식 없이도 학습을 가능하게 하여 실세계의 대규모 다에이전트 시스템에 적합하다.