[논문 리뷰] A Probabilistic Approach to Extended Finite State Mean Field Games

René Carmona, Peiqi Wang|arXiv (Cornell University)|2018. 08. 23.

Stochastic processes and financial applications참고 문헌 19인용 수 7

한 줄 요약

이 논문은 이토적 미분방정식과 후행 확률적 미분방정식(BSDEs)을 사용하여 연속시간 유한 상태 평균장 게임에 대한 확률적 약한 공식화를 개발한다. 닫힌 루프 전략 하에서 나시 균형의 존재성과 유일성을 확립하고, 상태의 평균장과 제어의 평균장을 동시에 고려하는 프레임워크로 확장하여 PDE 기반 방법의 한계를 극복한다.

ABSTRACT

We develop a probabilistic approach to continuous-time finite state mean field games. Based on an alternative description of continuous-time Markov chain by means of semimartingale and the weak formulation of stochastic optimal control, our approach not only allows us to tackle the mean field of states and the mean field of control in the same time, but also extend the strategy set of players from Markov strategies to closed-loop strategies. We show the existence and uniqueness of Nash equilibrium for the mean field game, as well as how the equilibrium of mean field game consists of an approximative Nash equilibrium for the game with finite number of players under different assumptions of structure and regularity on the cost functions and transition rate between states.

연구 동기 및 목표

• PDE 기반 접근 방식의 한계를 극복하는 연속시간 유한 상태 평균장 게임을 위한 확률적 프레임워크를 개발하는 것.
• PDE 방법에서는 도전적인 바탕으로, 상태의 평균장과 제어의 평균장을 동적 및 비용 함수에 함께 통합하는 것.
• 마코프 전략에서 닫힌 루프 전략으로 전략 집합을 확장하여 상태의 전체 역사에 의존할 수 있도록 하는 것.
• BSDE와 고정점 추론을 사용하여 약한 공식화 하에서 나시 균형의 존재성과 유일성을 확립하는 것.
• McKean-Vlasov 유형 최적 제어를 통한 향후 유한 상태 평균장 에이전트-프린스퍼블 문제 연구의 기초를 마련하는 것.

제안 방법

• 전이율 매트릭스(Q-매트릭스)와 마틴갈 증분을 이용한 연속시간 마코프 체인의 반정마르팅게일 표현을 사용한다.
• 가측측도의 변화를 통해 가측적 방법으로 최적 제어 문제를 약하게 공식화하기 위해 기르산프의 정리를 적용한다. 이는 제어와 측도 변화를 연결한다.
• 해의 법칙에 따라 드라이버와 종료 조건이 결정되는 연속시간 마코프 체인에 의해 구동되는 McKean-Vlasov 유형의 BSDE를 통해 최적 제어를 특성화한다.
• 복잡한 제어의 평균장을 고려함에도 불구하고, 두 평균장(상태 및 제어)을 균일하게 다룰 수 있도록 약한 공식화를 활용한다.
• 결합된 정방향-역방향 시스템의 해 존재성을 증명하기 위해 Schauder 유형의 고정점 추론을 사용한다.
• 다중 독립 마코프 체인에 의해 구동되는 선형 BSDE에 대한 비교 원리를 적용하여 해의 비음성과 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 유한 상태 평균장 게임에 대해 닫힌 루프 전략을 수용할 수 있는 확률적 약한 공식화를 개발할 수 있는가?
• RQ2 어떻게 평균장 게임 프레임워크 내에서 상태의 평균장과 제어의 평균장을 효율적으로 공동으로 모델링할 수 있는가?
• RQ3 이러한 확률적 설정에서 나시 균형의 존재성과 유일성을 보장하는 조건은 무엇인가?
• RQ4 이 프레임워크는 최적 계약 설계를 고려한 평균장 에이전트-프린스퍼블 문제를 모델링할 수 있도록 확장될 수 있는가?
• RQ5 측도 변화와 BSDE를 통한 약한 공식화는 유연성과 해석 가능성 측면에서 고전적 PDE 기반 접근 방식과 어떻게 비교되는가?

주요 결과

• 비용 함수와 전이율에 대한 적절한 정규성 및 구조적 가정 하에서, 평균장 게임에 대한 나시 균형의 존재성과 유일성이 확립된다.
• 적절한 조건(짧은 시간 영역 또는 정규 비용 함수 등) 하에서, 유한 플레이어 게임에 대한 평균장 게임의 균형은 근사 나시 균형을 이룬다.
• 약한 공식화는 제어가 상태의 전체 역사에 의존하는 닫힌 루프 전략을 허용하여, PDE 방법이 허용하는 마코프 전략을 초월한다.
• 이 프레임워크는 제어의 평균장을 동적 및 비용 함수에 성공적으로 통합하였으며, 이는 PDE 기반 접근 방식이 최적 제어에 대한 해석 가능한 포커-플랑크 방정식이 없어 이에 어려움을 겪는 데 비해 상당한 발전이다.
• 다중 독립 마코프 체인에 의해 구동되는 선형 BSDE에 대한 비교 원리가 확립되어, 제어 및 전이율 과정에 대한 약한 조건 하에서 해의 비음성을 보장한다.
• 해의 고정점 추론을 통해 McKean-Vlasov 유형의 BSDE 해가 나시 균형과 대응됨을 보였으며, BSDE의 드라이버는 해밀토니안과 평균장 의존성을 모두 포함한다.