[논문 리뷰] Stochastic Games for Fuel Followers Problem: N vs MFG

Xin Guo, Renyuan Xu|arXiv (Cornell University)|2018. 03. 08.

Stochastic processes and financial applications참고 문헌 33인용 수 9

한 줄 요약

이 논문은 비정상적 제어를 갖는 고전적인 연료 따라기 문제에 대해 N명의 플레이어로 구성된 확률적 게임과 그 평균장 게임(Mean Field Game, MFG)에 대한 수식화 및 해법을 제시한다. 양 설정에 대해 명시적인 내쉬 균형(Nash equilibrium, NE)을 도출하였으며, N명 플레이어의 NE는 상태에 의존하는 반면 MFG의 NE는 상태에 독립적인 임계값을 갖는 벽-벽(bang-bang) 정책임을 보이고, MFG 해가 N명 플레이어 게임에 대해 ϵ-내쉬 균형임을 증명하였으며, 이때 ϵ=O(1/√N)이다.

ABSTRACT

In this paper we formulate and analyze an $N$-player stochastic game of the classical fuel follower problem and its Mean Field Game (MFG) counterpart. For the $N$-player game, we obtain the Nash Equilibrium (NE) explicitly by deriving and analyzing a system of Hamilton--Jacobi--Bellman (HJB) equations, and by establishing the existence of a unique strong solution to the associated Skorokhod problem on an unbounded polyhedron with an oblique reflection. For the MFG, we derive a bang-bang type NE under some mild technical conditions and by the viscosity solution approach. We also show that this solution is an $ε$-NE to the $N$-player game, with $ε=O(\frac{1}{\sqrt{N}})$. The $N$-player game and the MFG differ in that the NE for the former is state dependent while the NE for the latter is threshold-type bang-bang policy where the threshold is state independent. Our analysis shows that the NE for a stationary MFG may not be the NE for the corresponding MFG.

연구 동기 및 목표

• 비정상적 제어를 갖는 연료 따라기 문제에 대해 N명 플레이어의 확률적 게임을 수식화하고 분석하며, 각 플레이어가 제어 비용과 모든 물체의 평균 위치와의 거리 비용을 최소화하도록 한다.
• HJB(Hamilton–Jacobi–Bellman) 방정식 시스템과 유한하지 않은 다각형에서 기울기 반사가 있는 스토로코호드 문제를 이용하여 N명 플레이어 게임의 내쉬 균형(NE)을 명시적으로 유도한다.
• N→∞일 때의 해당 평균장 게임(Mean Field Game, MFG) 극한을 연구하며, 각 플레이어가 인구집단의 경험적 평균과 상호작용하는 상황에서, 점성해법 기법을 통해 벽-벽 형식의 내쉬 균형을 도출한다.
• N명 플레이어 게임과 MFG 간의 균형 성격 차이, 특히 내쉬 균형의 성격인 상태에 의존하는 제어 대 상태에 독립적인 임계값에 대해 비교한다.
• MFG 내쉬 균형이 N명 플레이어 게임에 대해 ϵ-내쉬 균형임을 입증하며, ϵ=O(1/√N)로 수량화하여 평균장 근사의 수렴 속도를 규명한다.

제안 방법

• 비정상적 제어를 갖는 확률적 미분 게임으로서 N명 플레이어 게임을 수식화하며, 각 플레이어의 비용은 제어 노력과 N개의 모든 물체 평균 위치와의 L² 거리에 의존한다.
• 가치 함수에 대한 HJB 시스템을 유도하고, 피드백 내쉬 균형을 특성화하기 위해 검증 정리를 증명한다.
• 무한한 다각형에서 기울기 반사가 있는 스토로코호드 문제에 대해 강한 해의 존재성과 유일성을 증명하여 균형 제어 정책의 구성 가능성을 확보한다.
• MFG 극한에서는 연합된 전진-후진 PDE 시스템(HJB 및 포커-플랑크 방정식)을 분석하며, 대칭성과 볼록성을 활용하여 상태에 독립적인 임계값을 갖는 벽-벽 형식의 내쉬 균형을 도출한다.
• 점성해법 기법을 사용하여 MFG 균형을 확립하고, 미약한 기술적 조건 하에서 최적성의 타당성을 검증한다.
• 안정성 및 수렴 논증을 활용하여 근사 오차를 수량화하며, MFG 내쉬 균형이 N명 플레이어 게임에 대해 ϵ-내쉬 균형임을 증명한다. 이때 ϵ=O(1/√N)이다.

실험 결과

연구 질문

• RQ1 비정상적 제어를 갖는 연료 따라기 문제에서 유한한 플레이어 수의 확률적 게임과 그 평균장 게임(MFG) 극한 간의 내쉬 균형의 구조적 차이는 어떻게 다를까?
• RQ2 높은 차원성과 기울기 제약 조건이 존재하는 상황에서도 비정상적 제어와 대칭적·볼록 비용 함수를 갖는 N명 플레이어 게임에 대해 명시적인 내쉬 균형을 도출할 수 있는가?
• RQ3 MFG 해는 N명 플레이어 게임에 대해 ϵ-내쉬 균형으로 수렴하는가? 이 수렴 속도는 어떠한가?
• RQ4 왜 이 설정에서는 MFG 수식이 단일 플레이어 문제로 축소되는가? 이는 N명 플레이어 균형의 구조와 어떻게 다를까?
• RQ5 평균장 정보의 집약이 내쉬 균형 정책의 구조, 특히 상태에 대한 임계값 의존성 측면에서 어떤 역할을 하는가?

주요 결과

• N명 플레이어 게임의 내쉬 균형은 HJB 방정식 시스템과 기울기 반사가 있는 스토로코호드 문제를 푸는 방식으로 유도된 상태에 의존하는 피드백 제어 정책으로 명시적으로 기술된다.
• MFG 극한에서는 점성해법 기법과 연합된 HJB 및 포커-플랑크 방정식의 구조를 활용하여 상태에 독립적인 임계값을 갖는 벽-벽 형식의 내쉬 균형이 도출된다.
• MFG 균형이 N명 플레이어 게임에 대해 ϵ-내쉬 균형임을 입증하였으며, 이때 ϵ=O(1/√N)로 수렴 속도가 규명되었다.
• MFG 해는 구조상 단일 플레이어 문제로 축소되며, 이는 균형 임계값이 현재 상태에 영향을 받지 않기 때문이다. 반면 N명 플레이어 내쉬 균형은 상태에 의존한다.
• N→∞일 때 MFG 해의 임계값은 고전적인 연료 따라기 임계값 c로 수렴하며, c_N → c임을 확인하여 평균장 극한에서의 일관성을 입증한다.
• N=2일 경우 대칭성 덕분에 다수의 균형이 존재하여, 이는 N명 플레이어 설정에서의 비유일성(non-uniqueness)을 보여주며, 이는 MFG 균형이 유일하다는 것과 대비된다.