[논문 리뷰] On the convergence of closed-loop Nash equilibria to the mean field game limit

Daniel Lacker|arXiv (Cornell University)|2018. 08. 08.

Stochastic processes and financial applications인용 수 6

한 줄 요약

이 논문은 평균장 게임 평형이 유일하지 않을 경우에도 대규모 확률적 미분 게임에서의 닫힌루프 나시 평형이 약한 평균장 게임 평형으로 수렴함을 확립한다. 개방루프 케이스에서 유도된 컴 pact성 추론을 적응하여, $n$-플레이어 평형의 모든 극한점이 약한 MFG 평형임을 증명하며, 이는 표준(강한) 평형보다 추가적인 난수를 포함하므로, 유일성 가정을 초월한 수렴 결과를 확장한다.

ABSTRACT

This paper continues the study of the mean field game (MFG) convergence problem: In what sense do the Nash equilibria of $n$-player stochastic differential games converge to the mean field game as $n\ ightarrow\\infty$? Previous work on this problem took two forms. First, when the $n$-player equilibria are open-loop, compactness arguments permit a characterization of all limit points of $n$-player equilibria as weak MFG equilibria, which contain additional randomness compared to the standard (strong) equilibrium concept. On the other hand, when the $n$-player equilibria are closed-loop, the convergence to the MFG equilibrium is known only when the MFG equilibrium is unique and the associated "master equation" is solvable and sufficiently smooth. This paper adapts the compactness arguments to the closed-loop case, proving a convergence theorem that holds even when the MFG equilibrium is non-unique. Every limit point of $n$-player equilibria is shown to be the same kind of weak MFG equilibrium as in the open-loop case. Some partial results and examples are discussed for the converse question, regarding which of the weak MFG equilibria can arise as the limit of $n$-player (approximate) equilibria.

연구 동기 및 목표

• n-플레이어 닫힌루프 나시 평형이 $n \to \infty$일 때 평균장 게임(MFG) 평형으로 수렴하는 문제를 해결하기 위해.
• MFG 평형의 유일성이라는 제약 조건을 초월한 수렴 결과를 확장하기 위해.
• 추가적인 난수를 포함하는 약한 MFG 평형을 사용하여 $n$-플레이어 평형의 극한 행동을 기술하기 위해.
• 컴 pact성 추론을 통해 개방루프와 닫힌루프 수렴 이론을 통합하는 프레임워크를 수립하기 위해.
• $n$-플레이어 근사 평형의 극한으로 나타날 수 있는 약한 MFG 평형을 탐색하기 위해.

제안 방법

• 개방루프 평형 분석에서 유도된 컴 pact성 추론을 닫힌루프 설정으로 적응한다.
• 극한점들을 다루기 위해 유연화된 $n$-플레이어 게임과 유연화된 평균장 평형을 도입하고 분석한다.
• 일반 측도의 조건부 기대값에 대한 가측 버전을 구성하기 위해 공동 측도성과 조건부 확률법칙을 사용한다.
• 약한 수렴 하에서의 극한 동역학을 식별하기 위해 마코프 프로젝션 정리를 적용한다.
• empirical 측도와 제어의 수렴을 제어하기 위해 프로젝션 보조정리와 타이트니스 추론을 활용한다.
• 랜덤 계수를 갖는 SDE의 안정성 결과와 마스터 방정식 프레임워크를 활용하여 극한 동역학의 잘 정의됨을 보장한다.

실험 결과

연구 질문

• RQ1 n-플레이어 확률적 미분 게임의 닫힌루프 나시 평형이 $n \to \infty$일 때 어떤 조건에서 평균장 게임 평형으로 수렴하는가?
• RQ2 평균장 게임 평형이 비유일적일 경우에도 수렴을 확보할 수 있는가?
• RQ3 n-플레이어 닫힌루프 평형의 극한으로 나타나는 극한 대상은 어떤 형태인가?
• RQ4 어떤 약한 평균장 게임 평형이 $n$-플레이어 근사 평형의 극한으로 나타날 수 있는가?
• RQ5 추가적인 난수를 포함하는 약한 MFG 평형은 원래의 닫힌루프 평형 구조와 어떻게 관련이 있는가?

주요 결과

• MFG 평형이 비유일적일지라도, $n$-플레이어 닫힌루프 나시 평형의 모든 극한점은 약한 평균장 게임 평형이다.
• 이전 결과들과 달리, 마스터 방정식의 해가 존재하거나 미분 가능성 여부를 요구하지 않아도 수렴 결과가 성립한다.
• 극한 동역학은 조건부 기대값을 통해 난수를 포함하는 마스터 방정식의 약한 형태를 통해 식별된다.
• 논문은 랜덤 측도의 조건부 평균에 대한 가측 버전을 구성하여, 유연한 제어의 엄밀한 분석을 가능하게 한다.
• 약한 MFG 평형은 닫힌루프 평형의 자연스러운 극한 대상이며, 이는 개방루프 케이스와 유사하다.
• 부분적인 역방향 결과는 특정 약한 MFG 평형이 $n$-플레이어 근사 평형의 극한으로 나타날 수 있음을 보여주지만, 모든 평형이 실현 가능한 것은 아님을 시사한다.