[논문 리뷰] From infinity to one: The reduction of some mean field games to a global control problem

Olivier Guéant|arXiv (Cornell University)|2011. 10. 15.

Complex Systems and Time Series Analysis참고 문헌 9인용 수 27

한 줄 요약

이 논문은 높은 차원의 해밀턴-자코비 방정식의 해(계획 문제에서 유도됨)를 미분함으로써 평균장 게임 방정식의 해를 생성함으로써, 그래프 위의 평균장 게임과 전역 결정론적 제어 문제 사이의 연결을 확립한다. 주요 기여는 공통 노이즈가 있는 시스템을 지배하는 마스터 방정식이 이 전역 가치 함수의 편도함수로서 자연스럽게 유도된다는 점이며, 이는 복잡한 분산 게임을 단일 최적화 문제로 환원한다.

ABSTRACT

This paper presents recent results from Mean Field Game theory underlying the introduction of common noise that imposes to incorporate the distribution of the agents as a state variable. Starting from the usual mean field games equations introduced by J.M. Lasry and P.L. Lions and adapting them to games on graphs, we introduce a partial differential equation, often referred to as the Master equation, from which the MFG equations can be deduced. Then, this Master equation can be reinterpreted using a global control problem inducing the same behaviors as in the non-cooperative initial mean field game.

연구 동기 및 목표

• 그래프 위의 평균장 게임 역학을 단일 전역 제어 문제로 환원하는 것.
• 공통 노이즈가 있는 게임에서 사용되는 마스터 방정식이 고차원 해밀턴-자코비 방정식의 해에 대한 기울기로 유도될 수 있음을 보여주는 것.
• 부드러운 전역 계획 문제의 해로부터 내쉬-MFG 균형을 구성적으로 생성하는 방법을 제공하는 것.
• 확률 Measures의 공간에서의 미적분에 의존하지 않고, 이산적이고 그래프 기반 설정에서 마스터 방정식의 새로운 해석을 제공하는 것.
• 고차원 해밀턴-자코비 방정식의 수치적 해법이 무한차원 MFG 문제의 근사로 사용될 수 있도록 길을 열어주는 것.

제안 방법

• 연속 시간 마르코프 전이와 플레이어별 비용 함수를 갖는 방향 그래프 위의 평균장 게임을 수학적으로 정의하는 것.
• 공통 노이즈 영향을 포함하는 이산 형태의 마스터 방정식을 도입하여 MFG 방정식을 일반화하는 것.
• 고차원 해밀턴-자코비 방정식을 만족하는 전역 계획 문제를 정의하는 것.
• 이 가치 함수의 편도함수가 마스터 방정식의 구성 요소를 유도함으로써 전역 최적화와 국소 게임 역학 사이의 연결을 확립하는 것.
• 가치 함수의 기울기로부터 유도된 최적 제어 전략이 내쉬-MFG 균형을 만족함을 증명하는 것.
• 가치 함수가 C²이므로 미분 규칙을 적용하여 유도된 시스템이 마스터 방정식을 만족함을 검증하는 것.

실험 결과

연구 질문

• RQ1 그래프 위의 평균장 게임은 단일 전역 제어 문제로 환원될 수 있는가?
• RQ2 이산 설정에서의 마스터 방정식은 어떻게 고차원 해밀턴-자코비 방정식에서 기인하는가?
• RQ3 그래프 기반 MFG에서 계획 문제의 해와 내쉬-MFG 균형 사이의 관계는 무엇인가?
• RQ4 전역 가치 함수의 편도함수는 그래프 설정에서 마스터 방정식을 복원할 수 있는가?
• RQ5 해밀턴-자코비 방정식의 해가 유효한 평균장 게임 균형을 생성하는 조건은 무엇인가?

주요 결과

• 전역 계획 문제의 해밀턴-자코비 방정식의 해는 상태 분포에 대한 미분을 통해 내쉬-MFG 균형을 생성한다.
• 이산 그래프 설정에서의 마스터 방정식은 전역 제어 문제의 가치 함수의 편도함수와 공식적으로 동일하다.
• 가치 함수의 기울기로부터 유도된 최적 제어 전략은 내쉬-MFG 균형을 만족하는 데 필요한 조건을 충족한다.
• 가치 함수 기울기에서 유도된 방정식 시스템은 마스터 방정식과 일치하여 전체 MFG 프레임워크와의 일관성을 확인한다.
• 초선형 비용 함수, C² 및 강하게 볼록한 비용, 잘 정의된 argmax를 갖는 C¹ 해밀턴 함수라는 표준 가정 하에 이 환원이 성립한다.
• 이 프레임워크는 고차원 해밀턴-자코비 방정식의 수치적 해법이 무한차원 MFG 문제의 근사로 사용될 수 있도록 길을 열어준다.