[논문 리뷰] Learning in anonymous nonatomic games with applications to first-order mean field games

Saeed Hadikhanloo|arXiv (Cornell University)|2017. 04. 02.

Game Theory and Applications인용 수 12

한 줄 요약

이 논문은 플레이어별로 다른 행동 집합을 가진 익명의 비원자 게임에 대해 Fictitious Play와 Online Mirror Descent라는 학습 절차를 제안하며, 단조성 조건 하에서 나시 균형으로의 수렴을 증명한다. 이 프레임워크는 일阶 평균장 게임에 적용되어 연속적 행동을 가진 이러한 비원자 게임에서 학습 동역학의 수렴을 확립한다.

ABSTRACT

We introduce a model of anonymous games with the player dependent action sets. We propose several learning procedures based on the well-known Fictitious Play and Online Mirror Descent and prove their convergence to equilibrium under the classical monotonicity condition. Typical examples are first-order mean field games.

연구 동기 및 목표

• 고전적 학습 동역학인 Fictitious Play와 Online Mirror Descent를 플레이어별로 다른 행동 집합을 가진 익명의 비원자 게임으로 확장하기.
• 표준 단조성 조건 하에서 이러한 학습 절차가 나시 균형으로 수렴함을 확립하기.
• 이러한 결과를 일계 평균장 게임에 적용하여, 플레이어들이 고정된 초기 위치를 가진 연속 경로를 선택하고 동일한 비용 함수를 갖는 경우를 다루기.
• 잠재 게임을 넘어서 보다 광범위한 단조성 비용 게임 클래스로 이전의 수렴 결과를 일반화하기.
• 연속적 행동을 가진 대규모 인구, 비원자 게임에서 학습을 통한 균형 형성에 대한 이론적 기반 제공하기.

제안 방법

• 각 플레이어가 고유한 행동 집합을 가지지만, 다른 이들의 행동의 경험적 분포에 따라 동일한 비용 함수를 갖는 익명의 비원자 게임 모델을 제안한다.
• 플레이어들이 상대방의 행동 빈도를 경험적으로 추정하고, 이러한 추정에 기반해 최적 반응을 취하도록 Fictitious Play를 수정한다.
• 연속적 행동 집합을 다루고 재해석 최소화를 보장하기 위해 Bregman 산란 기반 갱신을 적용한 Online Mirror Descent를 적용한다.
• 연속성과 컴acts성 조건 하에서 나시 균형의 존재를 보장하기 위해 Schmeidler와 Mas-Collel의 프레임워크에 기반한 고정점 추론을 사용한다.
• 분해 정리와 약한 수렴 기법을 활용하여 학습 수열의 극한 측도가 행동 집합 제약 조건과 일致하게 분해됨을 증명한다.
• 유일성과 학습 동역학의 수렴을 보장하기 위해 단조성 조건(Rosen의 조건)에 의존한다.

실험 결과

연구 질문

• RQ1 플레이어에 따라 다를 수 있는 행동 집합을 가진 익명의 비원자 게임에서 Fictitious Play는 나시 균형으로 수렴할 수 있는가?
• RQ2 단조성 조건 하에서 이러한 게임에서 Online Mirror Descent는 균형으로 수렴하는가?
• RQ3 비용 함수의 단조성이 연속적 행동 익명 게임에서 학습 동역학의 수렴을 보장하는 조건는 무엇인가?
• RQ4 연속 경로와 분포 기반 결합을 가진 일계 평균장 게임에 대해 학습 절차는 어떻게 적응시킬 수 있는가?
• RQ5 비원자 게임에서 경험적 분포의 수렴을 보장하기 위해 필요한 위상수학적 및 측도 이론적 도구는 무엇인가?

주요 결과

• 단조성 조건 하에서 플레이어별로 다른 행동 집합을 가진 익명의 비원자 게임에서 Fictitious Play는 나시 균형으로 수렴한다.
• 동일한 단조성 조건 하에서 Online Mirror Descent는 나시 균형으로 수렴하며, 수렴 속도는 Bregman 산란의 구조에 따라 달라진다.
• 일계 평균장 게임에서 유일한 나시 균형은 힐버트-자코비 방정식과 포크너-플랑크 방정식의 결합된 시스템의 해로 기술된다.
• 행동 집합 대응에 대해 극한 측도의 분해는 약한 수렴 하에서도 유지되며, 이는 균형 전략의 일致성을 보장한다.
• 이러한 수렴 결과는 잠재 게임을 넘어서 보다 광범위한 단조성 비용 게임 클래스에 대해 성립하며, 이전의 안정 게임 및 인구 게임 연구를 확장한다.
• 이 프레임워크는 플레이어들이 고정된 초기 위치를 가진 경로를 최적화하고 다른 플레이어의 분포에 따라 동일한 비용 함수를 갖는 일계 평균장 게임에 적용 가능하다.