[논문 리뷰] Finite mean field games: fictitious play and convergence to a first order continuous mean field game

Saeed Hadikhanloo, Francisco J. Silva|arXiv (Cornell University)|2018. 05. 15.

Stochastic processes and financial applications참고 문헌 33인용 수 44

한 줄 요약

논문은 단조성하에서 유한 시간/상태 평균장 게임에 대한 허구적 플레이 수렴을 연구하고, 유한 격자 MFG의 극한이 연속 일차 MFG를 풀이한다는 것을 보이며; 또한 격자 정제로 유한 MFG의 균형과 연속 MFG 균형을 연결한다.

ABSTRACT

In this article we consider finite Mean Field Games (MFGs), i.e. with finite time and finite states. We adopt the framework introduced in Gomes Mohr and Souza in 2010, and study two seemly unexplored subjects. In the first one, we analyze the convergence of the fictitious play learning procedure, inspired by the results in continuous MFGs. In the second one, we consider the relation of some finite MFGs and continuous first order MFGs. Namely, given a continuous first order MFG problem and a sequence of refined space/time grids, we construct a sequence finite MFGs whose solutions admit limits points and every such limit point solves the continuous first order MFG problem.

연구 동기 및 목표

• 단조로운 데이터 하에서 유한 시간/상태 MFG에서 허구적 플레이 학습의 수렴을 조사한다.
• 공간/시간 격자上的 유한 MFG와 그 연속형 일차 MFG 대응자 사이의 연결고리를 확립한다.
• 정제된 유한 MFG의 균형의 극한점이 연속 일차 MFG 문제를 해결하는지 보인다.

제안 방법

• (MFG d)와 같이 유한 상태 집합 S와 이산 시간 T를 갖는 유한 MFG를 정의하고 비용 J_M(P)을 기술한다.
• 동적 프로그래밍 원리(DPP)를 공식화하고 가정(H1)하에서 존재성과 유일성을 보인다.
• P_n = argmin J_{ar M_n}(P)로 허구적 플레이를 구현하고, (9)와 같이 M_{n+1}, ar M_{n+1}를 업데이트한다.
• 단조성(H2) 및 Lipschitz 조건(H2) 아래에서 허구적 플레이가 유한 MFG의 유일한 균형으로 수렴함을 보인다.
• 공간/시간을 이산화하여 유한 MFG를 연속 일차 MFG로 관련짓고, 격자 길이가 0으로 수렴할 때의 극한점을 얻고 이 극한점들이 연속 문제를 해결함을 증명한다(정리 4.1).
• Monge-Kantorovich 지표와 일반화된 추상 허구적 플레이 프레임워크를 활용하여 수렴을 확립한다(정리 3.1).

실험 결과

연구 질문

• RQ1 단조로운 데이터 하에서 허구적 플레이가 유한 MFG에서 수렴하는가?
• RQ2 정제된 공간/시간 격자에서의 유한 MFG 균형이 연속 일차 MFG의 균형으로 수렴하는가?
• RQ3 어떤 조건에서 유한 MFG가 연속 일차 MFG 문제를 근사하는가?
• RQ4 격자가 보다 촘촘해질 때 이산 및 연속 설정 사이의 균형 관계는 무엇인가?

주요 결과

• 단조로운 데이터 하에서 허구적 플레이가 수렴하고 고유한 최소화자 가정 아래 유한 MFG 균형으로 수렴한다(정리 3.2).
• f와 g의 공급/처리 비용이 단조롭고 Lipschitz 조건을 만족하면 유한 MFG에 대해 고유한 균형이 존재한다(명제 3.1).
• 일반화된 추상 허구적 플레이 프레임워크는 단조성과 고유성 하에서 믿음 반복이 균형으로 수렴함을 보장한다(정리 3.1).
• 정제된 공간/시간 격기로 정의된 유한 MFG의 점렬은 해당하는 연속 일차 MFG 문제를 해결하는 극한점을 가진다(정리 4.1).
• 구성된 유한 MFG는 이산화(discretization)를 통해 연속 MFG를 근사하고 극한에서 균형 구조를 보존하여 유한/연속 MFG 이론 사이의 다리를 제공한다(섹션 4).