[논문 리뷰] A mean-field analysis of two-player zero-sum games

Carles Domingo-Enrich, Samy Jelassi외 3명|arXiv (Cornell University)|2020. 02. 14.

Markov Chains and Monte Carlo Methods참고 문헌 43인용 수 8

한 줄 요약

이 논문은 워샤프-파이저-레이오(Wasserstein-Fisher-Rao) 거리에 기반한 측도 공간 위에서 경사 하강-상승 동역학을 사용하여 이인자 제로섬 게임에서 혼합 내시 균형을 찾는 평균장 프레임워크를 제안한다. 라운지엔 동역학을 통해 근사 균형으로의 전역 수렴을 확립하고, 입자 시스템과 평균장 동역학 간의 대수법칙을 증명하여 고차원에서의 GAN 혼합 모델의 스케일러블 학습을 가능하게 한다.

ABSTRACT

Finding Nash equilibria in two-player zero-sum continuous games is a central problem in machine learning, e.g. for training both GANs and robust models. The existence of pure Nash equilibria requires strong conditions which are not typically met in practice. Mixed Nash equilibria exist in greater generality and may be found using mirror descent. Yet this approach does not scale to high dimensions. To address this limitation, we parametrize mixed strategies as mixtures of particles, whose positions and weights are updated using gradient descent-ascent. We study this dynamics as an interacting gradient flow over measure spaces endowed with the Wasserstein-Fisher-Rao metric. We establish global convergence to an approximate equilibrium for the related Langevin gradient-ascent dynamic. We prove a law of large numbers that relates particle dynamics to mean-field dynamics. Our method identifies mixed equilibria in high dimensions and is demonstrably effective for training mixtures of GANs.

연구 동기 및 목표

• 순수 균형이 드물고, 미러 경량화와 같은 전통적 방법이 스케일링되지 않는 고차원 연속적 이인자 제로섬 게임에서 혼합 내시 균형(MNE)을 찾는 데 도전하는 데에 대비하기 위해.
• 혼합 전략을 함께 업데이트되는 위치와 무게를 갖는 입자 시스템으로 매개변수화하여 구현 가능하고 스케일러블한 알고리즘을 개발하기 위해.
• 워샤프-파이저-레이오 거리로 장비된 확률측도 공간 위에서 라운지엔 경사 상승 동역학의 전역 수렴 보장을 확립하기 위해.
• 입자 기반 근사치와 평균장 동역학 간의 이론적 일致성 결과를 제공하여, 혼합 GAN의 실용적 학습을 가능하게 하기 위해.
• 실세계 데이터에서의 생성 성능를 유지하면서 데이터 클러스터를 발견하는 데에 방법의 효과성을 입증하기 위해.

제안 방법

• 논문은 전략의 측도 공간 위에서 이인자 제로섬 게임을 다중 에이전트 최적화 문제로 공식화하고, 워샤프-파이저-레이오(WFR) 거리를 사용하여 측도 공간 위에서 경사 하강-상승 유량을 정의한다.
• 혼합 전략 공간에 대한 라운지엔 경사 상승 동역학을 도입하여, 그 정적점이 근사 혼합 내시 균형과 대응됨을 증명한다.
• 두 번째 동역학은 입자 위치와 무게를 함께 경사 하강-상승으로 업데이트하여, 상호작용하는 입자로서의 경험 측도의 진화를 모델링한다.
• 대수법칙을 활용하여 입자 시스템이 큰 입자 수의 극한에서 평균장 동역학으로 수렴함을 보여주어 이산 알고리즘의 일致성 보장한다.
• 공간과 시간에 대해 이산화하여 실용적인 학습 알고리즘을 도출하고, 수렴성과 일치성에 대한 이론적 보장을 제공한다.
• 이 방법은 혼합 GAN을 학습하는 데 적용되어, 높은 품질의 생성 성능를 유지하면서도 데이터 클러스터를 명시적으로 발견한다.

실험 결과

연구 질문

• RQ1 비볼록성 가정 없이도, 확률측도 공간 위에서의 경사 하강-상승 동역학이 이인자 제로섬 게임에서 전역적으로 혼합 내시 균형으로 수렴할 수 있는가?
• RQ2 혼합 전략의 입자 기반 근사치는 어떻게 고차원 전략 공간으로의 MNE 계산을 스케일링할 수 있는가?
• RQ3 워샤프-파이저-레이오 기하학에서 입자들의 경험 측도 동역학과 기저 평균장 동역학 간의 관계는 무엇인가?
• RQ4 측도 공간 위에서의 라운지엔 동역학이 이론적 수렴 보장을 갖는 근사 균형을 제공할 수 있는가?
• RQ5 제안된 방법은 생성 모델링에서, 예를 들어 혼합 GAN에서 여러 데이터 모드를 발견하는 데에 어떻게 성능을 발휘하는가?

주요 결과

• 워샤프-파이저-레이오 거리로 장비된 혼합 전략 공간 위에서의 라운지엔 경사 상승 동역학은 근사 혼합 내시 균형으로 전역 수렴한다.
• 위치와 무게를 함께 업데이트하는 입자 시스템은 큰 입자 수의 극한에서 평균장 동역학으로 수렴하며, 이는 본 방법에 대한 대수법칙을 확립한다.
• 이 방법은 손실 함수에 대한 볼록성 또는 준볼록성 가정 없이도 정확한 혼합 내시 균형으로의 전역 수렴을 가능하게 한다.
• 수치 실험 결과는 이론적 차원의 극복에 성공하여, 합성 게임에서 다수의 균형을 성공적으로 식별함을 보여준다.
• 실제 데이터에서는 WFR 유량이 데이터 클러스터를 발견하면서도 강력한 생성 성능를 유지하는 혼합 GAN을 성공적으로 학습시켰다.
• 이 프레임워크는 생성자나 판별자에 대한 아키텍처 제약을 부과하지 않아, 이전의 접근 방식과는 달리 일반적이다.