[논문 리뷰] Convergence of large population games to mean field games with interaction through the controls

Mathieu Laurière, Ludovic Tangpi|arXiv (Cornell University)|2020. 04. 17.

Stochastic processes and statistical mechanics인용 수 7

한 줄 요약

이 논문은 제어를 통해 상호작용하는 대규모 인구의 확률적 미분 게임에서 나시 균형의 비점근 수렴 속도를 입증한다. 이는 정방향-역방향 확률적 미분 방정식(FBSDE)의 혼돈 전파와 농도 불등식을 활용하여 이루어지며, $N$-플레이어 균형 제어가 제어 기반 상호작용 조건 하에서도 $O(N^{-1/2})$ 속도로 평균장 균형으로 수렴함을 보여준다.

ABSTRACT

This work considers stochastic differential games with a large number of players, whose costs and dynamics interact through the empirical distribution of both their states and their controls. We develop a new framework to prove convergence of finite-player games to the asymptotic mean field game. Our approach is based on the concept of propagation of chaos for forward and backward weakly interacting particles which we investigate by stochastic analysis methods, and which appear to be of independent interest. These propagation of chaos arguments allow to derive moment and concentration bounds for the convergence of Nash equilibria.

연구 동기 및 목표

• 제어를 통해 상호작용하는 $N$-플레이어 확률적 미분 게임의 나시 균형이 평균장 게임 극한으로 수렴하는 것을 엄밀히 입증하는 것.
• 공통 상태-제어 상호작용을 갖는 약한 상호작용 정방향-역방향 SDE 시스템에 기반한 새로운 프레임워크를 개발하는 것.
• 대규모-$N$ 극한에서 균형 제어의 수렴에 대해 비점근 모멘트 및 농도 불등식을 유도하는 것.
• 역동성과 비용 함수가 상태의 경험적 분포뿐만 아니라 제어의 경험적 분포에 직접적으로 의존하는 설정으로 기존 평균장 게임 이론을 확장하는 것.
• 대규모 인구 게임에서 제어의 경험적 분포에 대해 치수에 의존하지 않는 농도 불등식을 제공하는 것.

제안 방법

• McKean-Vlasov 유형의 역동성과 비용 함수를 사용하여 $(X^i, α^i)$의 경험적 측도를 통한 상태 및 제어 의존 상호작용을 갖는 $N$-플레이어 게임을 수식화하는 것.
• Pontryagin의 최대원리 적용을 통해 결합된 정방향-역방향 확률적 미분 방정식(FBSDE)을 통한 $N$-플레이어 및 평균장 게임 균형의 특성화.
• Malliavin 미분법과 모멘트 추정을 활용하여 $N$-플레이어 해와 평균장 해 사이의 차이를 분석함으로써 결합된 FBSDE 시스템에 대한 혼돈 전파를 확립하는 것.
• Lipschitz 조건과 볼록성 조건 하에서 FBSDE의 안정성 분석을 통해 $N$-플레이어와 평균장 제어 과정 간의 $L^2$-거리에 대해 $N$에 관하여 균일한 경계를 도출하는 것.
• Talagrand의 $T_2$ 불등식과 로그 Sobolev 유형의 접근을 활용하여 제어의 경험적 분포에 대해 치수에 의존하지 않는 농도 경계를 도출하는 것.
• 모멘트 추정과 농도 불등식을 통합하여 $N$-플레이어 제어가 평균장 극한으로부터 벗어나지 않는 비점근 尾 불등식을 도출하는 것.

실험 결과

연구 질문

• RQ1 제어의 경험적 분포를 통해 상호작용하는 $N$-플레이어 확률적 미분 게임에서 나시 균형 제어가 평균장 균형으로 수렴하는 속도는 얼마나 되는가?
• RQ2 공통 상태-제어 상호작용을 갖는 FBSDE 시스템에 대해 혼돈 전파 논증을 확장하여 비점근 수렴 속도를 도출할 수 있는가?
• RQ3 일반적인 정규성 및 볼록성 조건 하에서 $N$-플레이어 균형 제어가 평균장 극한으로부터 벗어나지 않는 모멘트 및 尾 불등식은 무엇인가?
• RQ4 측도 집중 기법을 통해 제어 기반 상호작용이 있는 대규모 인구 게임에서 제어의 경험적 분포에 대해 치수에 의존하지 않는 경계를 도출할 수 있는가?
• RQ5 공통 노이즈 또는 비-마코프 성격이 존재하는 상황에서 결과가 개방 루프 제어를 초월해 폐루프 또는 피드백 제어로까지 어떻게 일반화되는가?

주요 결과

• 논문은 정규성 및 볼록성 조건 하에서 $N$-플레이어 게임의 균형 제어가 평균장 균형으로 수렴하는 비점근 $L^2$ 수렴 속도 $O(N^{-1/2})$를 확립한다.
• 일부 문제 매개변수에 의존하는 상수 $C$에 대해 $\mathbb{E}[|\hat{\alpha}^{i,N}_t - \hat{\alpha}^i_t|^2]$ 의 기대 제곱편차가 $C N^{-1}$ 이하로 유계임을 증명한다.
• 농도 불등식을 도출하여 $\mathbb{P}(\mathcal{W}_2(L^N(\hat{\alpha}_t), \mathcal{L}(\hat{\alpha}_t)) \geq a) \leq C e^{-K N a^2}$ 형태의 尾 불등식을 도출하였으며, 이는 치수에 의존하지 않는다.
• 혼돈 전파 논증이 상태 및 제어 양쪽에 대해 약한 상호작용을 갖는 FBSDE 시스템으로 확장되어 제어 기반 상호작용을 갖는 게임의 분석이 가능해졌다.
• 적절한 단조성 또는 시간 영역의 소규모 조건 하에서, 작은 시간 영역 $T$ 또는 큰 시간 영역 $T$ 모두에서 결과가 성립한다.
• 분석 결과는 비용 함수와 역동성이 제어의 경험적 분포에 직접적으로 의존하는 경우에도 평균장 극한이 큰 유한한 $N$에 대해 타당한 근사임을 확인한다.