[논문 리뷰] Mean Field Games with Ergodic cost for Discrete Time Markov Processes

Anup Biswas|arXiv (Cornell University)|2015. 10. 30.

Markov Chains and Monte Carlo Methods참고 문헌 6인용 수 19

한 줄 요약

이 논문은 일반적인 σ-콤��� 폴란드 공간 위에서 이산 시간 제어 마르코프 과정에 대해 에르고딕 비용을 가진 평균장 게임(MFG) 균형의 존재성을 확립한다. 카쿠타니-판-글릭스버그 고정점 정리와 미니마이제이션 조건 및 스플릿 체인을 통한 값 함수의 등연속성에 기반하여, 볼록성과 안정성 가정 하에 유한 N명의 플레이어 게임에서의 나시 균형이 N → ∞ 일 때 MFG 해로 수렴함을 증명한다.

ABSTRACT

We consider mean field games with ergodic cost in the framework of a general discrete time controlled Markov processes. The state space of the processes is given by a general $σ$-compact Polish space. Under certain conditions, we show the existence of a mean field game equilibrium. We also study the $N$-person game where the players interacts with each other via their empirical measure. We show that the $N$-person game has Nash equilibrium and as $N$ tends to infinity the equilibria converge to a mean field game solution.

연구 동기 및 목표

• 일반적인 σ-콤팩트 폴란드 공간 위에서 이산 시간 마르코프 과정에 대해 에르고딕 비용을 가진 평균장 게임(MFG)의 일반적 프레임워크를 개발하는 것.
• 기하학적 안정성과 미니마이제이션 조건을 포함한 일반 조건 하에서 평균장 게임 균형의 존재성을 확립하는 것.
• 플레이어들이 경험적 측도를 통해 상호작용하는 유한 N명의 플레이어 게임에서 나시 균형의 존재성을 증명하는 것.
• 볼록성 가정 하에서 N명의 플레이어 게임의 나시 균형이 N → ∞ 일 때 평균장 게임 해로 수렴함을 보이는 것.
• 고정점 이론과 에르고딕 제어 기법을 활용하여 유한 플레이어 게임과 평균장 극한 사이의 격차를 메우는 것.

제안 방법

• 최적 반응 대응의 상위-하우스컨티뉴이티를 보여줌으로써 카쿠타니-판-글릭스버그 고정점 정리를 적용하여 MFG 균형의 존재성을 증명한다.
• 미니마이제이션 조건과 스플릿 체인의 구성에 기반하여 에르고딕 제어 문제에 대한 값 함수의 등연속성을 확립한다.
• 모든 정적 제어 과정에 대해 불변 측도의 존재를 보장하는 기하학적 안정성 조건(2.2)을 도입한다.
• 에르고딕 제어 문제를 분석하고 한계 평균 비용을 유도하기 위해 α → 1 방향으로 할인된 값 함수 근사법을 사용한다.
• 작은 구의 도달 시간 추론을 통해 기대 비용을 유계화하고 값 함수에 대한 균일 추정치를 도출한다.
• 지배 수렴 정리와 마르코프 과정의 에르고딕 성질을 활용하여 경험적 측도와 비용 평균의 수렴을 보인다.

실험 결과

연구 질문

• RQ1 일반 상태공간 위에서 이산 시간 제어 마르코프 과정에 대해 에르고딕 비용을 가진 평균장 게임 균형이 존재하기 위한 조건은 무엇인가?
• RQ2 플레이어들이 경험적 분포를 통해 상호작용할 경우, 유한 N명의 플레이어 게임에서 나시 균형의 존재성을 어떻게 확립할 수 있는가?
• RQ3 N명의 플레이어 게임의 나시 균형이 N → ∞ 일 때 평균장 게임 해로 수렴하기 위한 조건은 무엇인가?
• RQ4 확산 또는 하르낙 유형 부등식이 존재하지 않을 경우, 값 함수의 등연속성을 어떻게 확립할 수 있는가?
• RQ5 최적 제어와 불변 측도 조건에서 유도된 다중값 함수의 고정점으로서 MFG 해를 특성화할 수 있는가?

주요 결과

• 일반적인 σ-콤팩트 폴란드 공간 위에서 이산 시간 제어 마르코프 과정에 대해 미리 정의된 규칙성과 안정성 조건 하에서 평균장 게임 균형이 존재한다.
• 미니마이제이션 조건과 스플릿 체인 구성에 기반하여 에르고딕 제어 문제의 값 함수가 등연속임을 보였으며, 이는 고정점 정리의 적용을 가능하게 한다.
• 경험적 측도를 통한 상호작용이 있는 유한 N명의 플레이어 게임에서 나시 균형이 존재함을 카쿠타니-판-글릭스버그 고정점 정리를 통해 증명하였다.
• 볼록성 가정(A7) 하에 N명의 플레이어 게임의 나시 균형은 N → ∞ 일 때 약한 수렴으로 평균장 게임 해로 수렴한다.
• 한계 MFG 해는 최적 제어와 불변 측도를 포함하는 고정점 방정식을 만족하며, 장기 평균 비용은 에르고딕 비용과 일치한다.
• MFG 해에서 최적 제어는 평균 비용과 값 함수를 포함하는 동적 프ogramming 방정식을 만족하며, 불변 측도 하에서 거의 확실히 등호가 성립한다.