[논문 리뷰] Fictitious Play for Mean Field Games: Continuous Time Analysis and Applications

Sarah Perrin, Julien Pérolat외 4명|arXiv (Cornell University)|2020. 07. 05.

Game Theory and ApplicationsDecision Sciences인용 수 19

한 줄 요약

이 논문은 유한 시간 및 할인 설정에서 공통 노이즈를 포함한 평균장 게임(Mean Field Games, MFGs)에 대해 연속시간 가짜 플레이(Fictitious Play) 알고리즘을 제안한다. 이는 노이즈가 있는 MFGs에서 학습에 대한 첫 번째 수렴 보장을 제공하며, 유용성 기반 수렴 속도 $O(1/t)$를 확립하고, 나시 균형 근사치 평가에 있어 유용성(exploitability)을 핵심 지표로 설정한다. 이는 모델 기반 및 모델리스 설정 모두에서 검증되었다.

ABSTRACT

In this paper, we deepen the analysis of continuous time Fictitious Play learning algorithm to the consideration of various finite state Mean Field Game settings (finite horizon, $γ$-discounted), allowing in particular for the introduction of an additional common noise. We first present a theoretical convergence analysis of the continuous time Fictitious Play process and prove that the induced exploitability decreases at a rate $O(\frac{1}{t})$. Such analysis emphasizes the use of exploitability as a relevant metric for evaluating the convergence towards a Nash equilibrium in the context of Mean Field Games. These theoretical contributions are supported by numerical experiments provided in either model-based or model-free settings. We provide hereby for the first time converging learning dynamics for Mean Field Games in the presence of common noise.

연구 동기 및 목표

• 공통 노이즈를 포함한 유한 시간 및 $γ$-할인 설정에서의 연속시간 평균장 게임(MFGs)에 대해 Fictitious Play를 확장하는 것.
• MFGs에서 나시 균형 수렴 평가에 있어 유용성(exploitability)이 의미 있는 지표임을 입증하는 것.
• 수렴 속도 $O(1/t)$를 갖는 Fictitious Play의 이론적 수렴 보장을 MFGs에 제공하는 것. 이는 0-합 게임에서의 결과와 일치한다.
• 제안된 프레임워크 하에서 모델 기반 및 모델리스 환경 모두에서 알고리즘의 성능을 입증하는 것.
• 대규모 인구의 스토케스틱 게임에서 확장 가능한 학습 알고리즘과 이론적 수렴 간 격차를 메우는 것.

제안 방법

• 논문은 각 에이전트가 시간에 따라 인구의 상태 분포를 경험적으로 기반으로 정책을 갱신하는 연속시간 가짜 플레이 프로세스를 수립한다.
• 대표 에이전트의 정책과 인구의 분포의 진화를 모델링하기 위해 후방 및 전방 코모고로프 방정식을 사용하는 연속시간 동역학계를 도입한다.
• 연속시간 학습 동역학의 도구를 활용하여 분석을 수행하며, 리아푸노프 함수와 유용성 기반 수렴 기준을 포함한다.
• 유용성을 정의한다: 주어진 인구 분포 하에서 현재 정책에서 이탈함으로써 얻을 수 있는 최대 이득으로 정의한다.
• 모든 에이전트에 영향을 주는 공통 브라운 운동 $W^0_t$를 통해 공통 노이즈를 도입한다.
• 선형-제곱형 MFGs에서 리카티 방정식과 ODE 분석을 사용하여 이론적 수렴을 증명하며, 이는 실증적 검증의 기준으로 기능한다.

실험 결과

연구 질문

• RQ1 연속시간 가짜 플레이가 유한 시간 및 $γ$-할인 설정의 MFGs에서 $O(1/t)$ 수렴 속도를 달성할 수 있는가?
• RQ2 유용성은 어떻게 일반화되고 MFGs에서 나시 균형 수렴 평가에 신뢰할 수 있는 지표로 사용될 수 있는가?
• RQ3 공통 노이즈가 있는 MFGs에서 Fictitious Play에 대해 수렴 보장을 도출할 수 있는가? 이는 실세계 응용에서 흔한 설정이다.
• RQ4 제안된 프레임워크 하에서 모델 기반 및 모델리스 환경 모두에서 가짜 플레이 프로세스가 나시 균형으로 수렴하는가?
• RQ5 유용성이 MFG 학습 알고리즘의 실용적이고 이론적으로 타당한 정지 기준으로 기능할 수 있는가?

주요 결과

• 가짜 플레이 프로세스는 유한 시간 및 $γ$-할인 설정의 MFGs에서 유용성 기반 수렴 속도 $O(1/t)$로 나시 균형으로 수렴한다.
• 유용성이 MFGs에서 수렴 품질 평가에 의미 있고 효과적인 지표로 입증되었으며, 인구 분포 기반 지표보다 뛰어나다.
• 이 연구는 공통 노이즈가 있는 MFGs에서 학습 알고리즘의 수렴을 증명한 최초의 작업이다. 이는 이전에 이론적 보장이 없었던 설정이다.
• 수치 실험 결과는 모델 기반 및 모델리스 환경 모두에서 수렴이 확인되었으며, 이는 이론적 결과를 검증한다.
• 명시적 리카티 해를 갖는 선형-제곱형 MFG 벤치마크는 학습된 정책과 가치 함수의 정확성을 확인한다.
• 이론적 분석은 작은 유용성은 시간에 따라 가치 함수의 작은 이탈을 암시함을 보여주며, 이는 유용성을 균형 품질의 대체 지표로 사용할 수 있음을 뒷받침한다.