[논문 리뷰] Scaling up Mean Field Games with Online Mirror Descent

Julien Pérolat, Sarah Perrin외 6명|arXiv (Cornell University)|2021. 02. 28.

Artificial Intelligence in Games참고 문헌 40인용 수 10

한 줄 요약

이 논문은 연속 시간 역동성과 Q함수 통합을 활용하여 명시적인 최적 반응 계산을 피함으로써, 평균장 게임(Mean Field Games, MFGs)에서 나시 균형을 계산하기 위한 확장 가능한 알고리즘인 온라인 미러 강하(Online Mirror Descent, OMD)를 제안한다. 단조성 가정 하에 수렴성을 증명하였고, 실험적으로 OMD가 최대 10^11개 상태를 가진 MFGs로까지 확장 가능함을 보였다. 이는 다인자, 다집단 및 공통 노이즈 설정에서 Fictitious Play보다 빠른 속도와 더 높은 확장성을 보였다.

ABSTRACT

We address scaling up equilibrium computation in Mean Field Games (MFGs) using Online Mirror Descent (OMD). We show that continuous-time OMD provably converges to a Nash equilibrium under a natural and well-motivated set of monotonicity assumptions. This theoretical result nicely extends to multi-population games and to settings involving common noise. A thorough experimental investigation on various single and multi-population MFGs shows that OMD outperforms traditional algorithms such as Fictitious Play (FP). We empirically show that OMD scales up and converges significantly faster than FP by solving, for the first time to our knowledge, examples of MFGs with hundreds of billions states. This study establishes the state-of-the-art for learning in large-scale multi-agent and multi-population games.

연구 동기 및 목표

• 큰 상태 공간과 큰 인구 수에서 평균장 게임(Mean Field Games, MFGs)의 균형 계산을 확장하는 데 도전한다.
• 높은 메모리 사용, 느린 수렴, 최적 반응 계산 의존성 등의 한계를 보이는 Fictitious Play(FP)의 문제점을 해결한다.
• 단일 및 다집단 MFGs, 공통 노이즈가 있는 설정까지 포함하여 확장 가능하고 메모리 효율적인 알고리즘을 개발한다.
• MFG에서 표준 단조성 가정 하에 연속 시간 OMD의 이론적 수렴 보장을 수립한다.
• 대규모 MFG에서 FP에 비해 수렴 속도와 확장성 면에서 OMD의 경험적 슈퍼리오리티를 입증한다.

제안 방법

• 시간에 따라 통합된 Q함수의 소프트맥스를 사용하여 정책을 반복적으로 업데이트함으로써 MFGs에 온라인 미러 강하(OMD)를 적용한다.
• 시간 통합 Q함수를 통해 연속 시간 OMD 알고리즘을 정의한다: $ y^{i}_{n,t}(x^{i},a^{i}| au) = \int_0^t Q^{i,\pi^{i}_s,\mu^{\pi_s}}_n(x^{i},a^{i}|\tau)ds $.
• 미러 맵 $ \Gamma $를 사용하여 정책을 업데이트한다: $ \pi^{i}_{n,t}(\cdot|x^{i},\tau) = \Gamma(y^{i}_{n,t}(x^{i},\cdot|\tau)) $.
• 공통 노이즈 하에서 각 집단의 전진 및 역행 동역학을 모델링하여 다집단 MFGs로 방법을 확장한다.
• 보상 함수의 단조성과 보상 구조의 분리 가능성을 가정할 때, 나시 균형 수렴을 증명한다.
• 고차원 상태 공간에서 Q함수를 추정하기 위해 딥 강화 학습을 활용하여, 트리리온 수준의 상태-행동 쌍으로까지 확장 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 온라인 미러 강하(OMD)가 연속 시간 평균장 게임(MFGs)에서 나시 균형으로 수렴함을 이론적으로 증명할 수 있는가?
• RQ2 대규모 MFGs에서 OMD는 수렴 속도와 확장성 면에서 Fictitious Play(FP)를 능가하는가?
• RQ3 공통 노이즈가 있는 다집단 MFGs로 OMD를 확장해도 여전히 수렴성과 효율성을 유지할 수 있는가?
• RQ4 OMD가 MFGs에서 균형을 성공적으로 계산할 수 있는 최대 규모(상태공간 크기 기준)는 얼마인가?
• RQ5 대규모 MFGs에서 OMD의 메모리 사용량은 FP와 비교해 어떻게 되는가?

주요 결과

• 표준 단조성 및 분리 가능성 가정 하에, OMD는 연속 시간 MFGs에서 나시 균형으로 수렴함을 이론적으로 보장한다.
• OMD는 최대 10^11개 상태와 트리리온 수준의 상태-행동 쌍을 가진 MFGs로까지 확장 가능하며, 이는 이전 방법 대비 4~5개 지수 정도의 향상이다.
• OMD는 Fictitious Play(FP)보다 상당히 더 빠른 수렴 속도를 보이며, 토러스, 정사각형, 도넛 형태의 다양한 구조와 모서리, 무작위 초기화 조건에서 경험적으로 뛰어난 성능을 보였다.
• OMD는 현재 정책과 통합된 Q함수만 저장하면 되어, 평균 정책과 유도된 분포를 저장해야 하는 FP보다 메모리 사용량이 현저히 줄어든다.
• 이 방법은 다집단 MFGs와 공통 노이즈 설정으로까지 일반화되며, 이론적 수렴성과 경험적 효율성을 유지한다.
• 연구된 MFGs의 보상 함수는 단조성을 만족하며, 이는 이론적 수렴성 증명의 기초가 되고 알고리즘의 안정성에 기여한다.