[논문 리뷰] Approximation of Mean Field Games to N-Player Stochastic Games, with Singular Controls

Haoyang Cao, Xin Guo외 1명|arXiv (Cornell University)|2017. 03. 13.

Stochastic processes and financial applications참고 문헌 44인용 수 8

한 줄 요약

이 논문은 속도가 유한하고 변동이 유한한 제어를 갖는 N명의 플레이어로 구성된 확률적 게임이, 속도가 유한한 제어를 갖는 평균장 게임(MFG)에 의해 근사될 수 있음을 증명한다. MFG의 균형은 속도가 유한한 제어를 갖는 N명의 플레이어 게임에서 𝜖_N-NE이며, 𝜖_N = O(1/√N)이다. 또한 유한한 변동 제어를 갖는 경우, (𝜖_N + 𝜖_𝜃)-NE이며, 𝜖_𝜃는 속도의 상한 θ에 따라 달라지는 오차 항이다. 이는 고전적인 MFG 근사 이론을 비연속 제어 설정으로 확장한다.

ABSTRACT

This paper establishes that $N$-player stochastic games with singular controls, either of bounded velocity or of finite variation, can both be approximated by mean field games (MFGs) with singular controls of bounded velocity. More specifically, it shows i) the optimal control to an MFG with singular controls of a bounded velocity $θ$ is shown to be an $ε_N$-NE to an $N$-player game with singular controls of the bounded velocity, with $ε_N = O(\frac{1}{\sqrt{N}})$, and (ii) the optimal control to this MFG is an $(ε_N + ε_θ)$-NE to an $N$-player game with singular controls of finite variation, where $ε_θ$ is an error term that depends on $θ$. This work generalizes the classical result on approximation $N$-player games by MFGs, by allowing for discontinuous controls.

연구 동기 및 목표

• 고전적인 N명의 플레이어 확률적 게임에 대한 평균장 게임(MFG) 근사를 비연속 제어를 포함하는 설정으로 확장하는 것.
• 기존 MFG 이론이 정규(절대 연속) 제어에 의존하는 데 반해, 많은 실제 제어 문제에서는 비연속 또는 비정상 제어가 발생하므로 이러한 과제를 해결하는 것.
• 속도가 유한한 제어를 갖는 MFG는 속도가 유한한 제어와 유한한 변동 제어를 갖는 N명의 플레이어 게임 모두에 효과적인 근사로 기능할 수 있음을 보여주는 것.
• 나시 균형 근사 오차의 한계를 설정하여 수렴 속도를 정량화하는 것. 속도가 유한한 경우 O(1/√N)이며, 유한한 변동 제어의 경우 O(1/√N) + 𝜖_𝜃이다.
• 비록 비정상 제어이지만, 속도가 유한한 비정상 제어는 유한한 변동 제어보다 해석적으로 유리한 성질을 유지하며, 이는 MFG 분석을 가능하게 한다.

제안 방법

• 적절한 가정 하에, 속도가 유한한 비정상 제어 문제의 가치 함수가 유한한 변동 비정상 제어 문제의 가치 함수로 수렴함을 증명함.
• 속도가 유한한 비정상 제어를 갖는 MFG의 해가 존재하고 유일하며 정칙함을 보이며, 이는 비연속 제어를 수용할 수 있는 프레임워크를 사용함.
• N명의 플레이어 상태의 경험적 분포와 MFG의 평균장 측도 사이의 연결을 위해, 혼돈의 전파와 대수의 법칙 유사 추론을 활용함.
• 비용 함수와 도함수의 리프시츠 연속성에 기반해, 속도가 유한한 제어를 갖는 MFG의 가치 함수와 N명의 플레이어 게임의 가치 함수를 비교하기 위해 변형 기법을 적용함.
• MFG의 최적 제어와 N명의 플레이어 게임의 변형된 제어 사이의 비교를 통해, MFG 전략에서의 이탈이 오직 O(1/√N)의 비용 손실만을 초래함을 보임.
• N명의 플레이어 시스템과 MFG 시스템 간의 쌍방향 연결을 통해, 상태 과정이 기대값 기준 O(1/√N) 속도로 수렴함을 보이며, 이는 나시 균형 근사 오차의 기초가 됨.

실험 결과

연구 질문

• RQ1 속도가 유한한 비정상 제어를 갖는 평균장 게임(MFG)은 속도가 유한한 비정상 제어를 갖는 N명의 플레이어 확률적 게임을 근사할 수 있으며, 그 오차율은 얼마인가요?
• RQ2 이러한 MFG는 속도가 유한하고 변동이 유한한 비정상 제어를 갖는 N명의 플레이어 게임을 근사할 수 있으며, 제어 유형의 차이로 인해 추가로 발생하는 오차는 무엇인가요?
• RQ3 제어가 비연속적이고 비정상일 경우, MFG 근사의 고전적 O(1/√N) 수렴 속도가 유지되는가요?
• RQ4 속도가 유한한 비정상 제어를 갖는 MFG 프레임워크는 복잡한 유한한 변동 비정상 제어 문제를 대체할 수 있는 분석 가능하고 실용적인 대체 수단이 될 수 있나요?
• RQ5 속도가 유한한 제어에서 유한한 변동 제어로 전환할 때, 근사 오차에 영향을 주는 속도 상한 θ의 역할은 무엇인가요?

주요 결과

• 속도가 유한한 비정상 제어를 갖는 MFG의 최적 제어는 해당 N명의 플레이어 게임에서 𝜖_N-NE이며, 𝜖_N = O(1/√N)이다.
• 동일한 MFG 제어는 유한한 변동 비정상 제어를 갖는 N명의 플레이어 게임에서 (𝜖_N + 𝜖_𝜃)-NE이며, 𝜖_𝜃는 속도 상한 θ에 따라 달라지는 오차 항이다.
• 적절한 가정 하에, 속도가 유한한 비정상 제어 문제의 가치 함수는 유한한 변동 문제의 가치 함수로 수렴함을 보여, 두 제어 유형 간의 다리를 놓음.
• N명의 플레이어 시스템과 MFG 사이의 상태 과정 수렴은 기대값 기준 O(1/√N)로 나타나며, 이는 나시 균형 근사 오차의 근본 원인임.
• 분석을 통해 속도가 유한한 비정상 제어는 유한한 변동 제어보다 해석적으로 더 취급하기 쉬우며, 두 유형의 N명의 플레이어 게임 모두에 정확한 근사를 제공함을 확인함.
• 이 결과는 비연속 제어를 포함하여 고전적인 MFG 근사 이론을 일반화함으로써, 불규칙한 제어 역학을 갖는 공학 및 경제 모델에 대한 MFG의 적용 가능성을 넓힘.