[논문 리뷰] Learning in Mean Field Games: the Fictitious Play

Pierre Cardaliaguet, Saeed Hadikhanloo|arXiv (Cornell University)|2015. 07. 22.

Game Theory and Applications참고 문헌 25인용 수 29

한 줄 요약

이 논문은 평균장 게임(MFGs)에 대한 가짜 플레이 학습 절차를 제안한다. 여기서 에이전트들은 인구 밀도에 대한 믿음을 반복적으로 갱신하고 최적 반응 전략을 계산한다. 게임이 포텐셜일 경우, 이 방법은 점근적으로 MFG 균형에 수렴하며, 수송 방정식에 대한 점성해법과 초합성 원리를 통해 수렴성을 확보한다.

ABSTRACT

Mean Field Game systems describe equilibrium configurations in differential games with infinitely many infinitesimal interacting agents. We introduce a learning procedure (similar to the Fictitious Play) for these games and show its convergence when the Mean Field Game is potential.

연구 동기 및 목표

• 대규모 인구의 확률적 미분 게임에서 에이전트들이 시스템에 대한 완전한 지식 없이도 평균장 균형에 도달할 수 있는 방법을 다루는 것.
• 유한 플레이어 게임에서 널리 쓰이는 고전적 가짜 플레이 학습 메커니즘을 연속적이고 무한 인구를 가진 평균장 게임 설정에 적응시키는 것.
• MFG 시스템이 포텐셜일 조건 하에서 학습 절차의 수렴성을 확립하는 것. 이는 유일한 균형을 보장한다.
• 이론적 MFG 균형과 실용적 학습 역학 사이의 격차를 교통 흐름이나 경제 모델링과 같은 애플리케이션에서 메우는 것.

제안 방법

• 에이전트들이 이전 반복 단계에서 관측한 밀도의 시간 평균으로 인구 밀도에 대한 믿음을 갱신하는 학습 절차를 제안한다.
• 각 단계에서, 에이전트들은 현재 믿음(과거 밀도의 평균)을 사용하여 최적 가치 함수를 계산하기 위해 하미튼-자비-벨리만 방정식을 푼다.
• 실제 인구 밀도는 가치 함수에서 유도된 최적 제어에 의해 구동되는 포크너-플랑크 방정식에 따라 진화한다.
• 믿음은 이전 모든 단계에서 관측된 밀도의 경험적 평균으로 갱신되어, 순환적인 학습 규칙을 형성한다.
• 값 함수와 밀도 수열의 수렴성을 분석하기 위해 점성해법 이론을 활용한다.
• 암브로시오의 초합성 원리를 사용하여 수송 방정식의 해를 최적 궤적과 연결함으로써, 정규성과 포텐셜 조건 하에서 유일성을 보장한다.

실험 결과

연구 질문

• RQ1 연속 시간 MFG 시스템에서 가짜 플레이 스타일 학습 절차가 평균장 균형에 수렴할 수 있는가?
• RQ2 믿음 갱신과 최적 반응 계산에 기반한 반복적 학습 과정이 포텐셜 MFG에서 수렴하기 위한 조건은 무엇인가?
• RQ3 무한 인구와 정방향-역방향 PDE를 포함하는 시스템에서 학습 역학의 수렴성을 엄밀하게 어떻게 확립할 수 있는가?
• RQ4 MFG의 포텐셜 구조가 학습 절차의 수렴성을 보장하는 데 어떤 역할을 하는가?
• RQ5 초합성 원리를 통해 학습 역학을 최적 제어와 궤적 선택에 얼마나 잘 연결할 수 있는가?

주요 결과

• 게임이 포텐셜일 경우, 가짜 플레이 학습 절차는 평균장 게임 시스템의 해로 수렴한다.
• 값 함수와 그 기울기의 균일한 유계성, 그리고 극한 시스템에 대한 점성해법의 존재성에 의해 수렴성이 확립된다.
• 변분 문제에서 최소화자가 유일할 조건 하에서, 극한 밀도는 초기 측도를 최적 궤적을 따라 옮긴 결과로 유일하게 특징지어진다.
• 수송 방정식의 해는 최적 궤적에 집중된 드리에크 측도로 유일하게 표현되며, 이는 극한 밀도의 유일성을 보장한다.
• 콤���트성 추론과 초합성 원리를 사용하여 학습 수열의 수렴성을 증명하였고, 극한 해는 전체 MFG 시스템을 만족한다.
• 값 함수의 준볼록성과 밀도 및 그 기울기의 균일한 유계성과 같은 표준 가정 하에서도 결과가 성립한다.