[논문 리뷰] On Finding Local Nash Equilibria (and Only Local Nash Equilibria) in Zero-Sum Games

Eric Mazumdar, Michael I. Jordan외 1명|arXiv (Cornell University)|2019. 01. 03.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 78

한 줄 요약

이 논문은 Local Symplectic Surgery를 소개한다. 이는 두 시점 규모의 방법으로 두 플레이어의 제로섬 연속 게임에서 로컬 내시 균형으로収収 수렴하며 그래디언트 다이나믹스에 방해되는 비-Nash 끌림점들을 피한다.

ABSTRACT

We propose local symplectic surgery, a two-timescale procedure for finding local Nash equilibria in two-player zero-sum games. We first show that previous gradient-based algorithms cannot guarantee convergence to local Nash equilibria due to the existence of non-Nash stationary points. By taking advantage of the differential structure of the game, we construct an algorithm for which the local Nash equilibria are the only attracting fixed points. We also show that the algorithm exhibits no oscillatory behaviors in neighborhoods of equilibria and show that it has the same per-iteration complexity as other recently proposed algorithms. We conclude by validating the algorithm on two numerical examples: a toy example with multiple Nash equilibria and a non-Nash equilibrium, and the training of a small generative adversarial network (GAN).

연구 동기 및 목표

• 제로섬 게임에서 비-Nash 끌림점으로 인해 그래디언트 기반 방법의 한계를 식별한다.
• 로컬(미분적) 내시 균형과 정확히 일치하는 끌림점을 갖는 동역학 기반 알고리즘을 제안한다.
• 해당 방법이 균형 근처의 진동을 피하고 기존 그래디언트 방법과 비슷한 한 반복당 복잡성을 갖도록 보장한다.

제안 방법

• 끌림점이 정확히 로컬 내시 균형이 되도록 극한의 연속시간 흐름을 정의한다.
• 행렬 반전 없이 극한 동역학을 근사하는 두 타임스케일 이산화(Local Symplectic Surgery)를 도입하여
• 빠른 조정 항을 구현하기 위해 보조 변수를 사용하여 임계점 근처에서 Jacobian의 비대칭 부분을 상쇄한다.
• 극한 동역학의 유일한 끌림 고정점이 미분적 내시 균형임을 증명한다.
• 편향되지 않은 확률 추정과 잡음에 대한 강건성을 두-타임스케일 확률 근사 프레임워크를 통해 시연한다.
• 로컬 내시 균형으로의 수렴을 검증하기 위해 작은 GAN 실험과 2차원 토이 예제를 제공한다.

실험 결과

연구 질문

• RQ1 제로섬 게임에서 그래디언트 기반 다이나믹스가 비-Nash 정지점으로 수렴할 수 있는지, 어떤 조건에서 가능한지?
• RQ2 끌림 fixed points가 (미분적) 로컬 내시 균형과 일치하는 다이나믹스를 어떻게 설계할 수 있는가?
• RQ3 노이즈가 있는 경우에도 두 타임스케일 이산화가 원하는 연속시간 동역학을 안정적으로 추적하는가?
• RQ4 표준 그래디언트 방법에 비해 한 반복당 계산 비용은 어느 정도이며 행렬 반전을 피할 수 있는가?
• RQ5 실험(토이 예제 및 GAN)이 로컬 내시 균형으로의 수렴과 비-Nash 끌림점의 피함을 뒷받침하는가?

주요 결과

• 제안된 Local Symplectic Surgery는 유일한 끌림 고정점이 로컬 내시 균형임을 보장한다.
• 연속시간 동역학은 균형 근처에서 진동을 보이지 않으며 임계점에서 실수 고유값을 가지므로 한계주기를 피한다.
• 두 타임스케일 구현은 행렬 반전 없이 계산될 수 있으며 다른 그래디언트 기반 방법과 비슷한 복잡성을 유지한다.
• 이 방법은 컨센서스 최적화나 시밀렉틱 그래디언트 보정 등의 방법이 빠지는 비-Nash LASE로의 수렴을 제거한다.
• 수치 실험에서 토이 예제에서 로컬 내시 균형으로의 수렴과 제안된 접근법을 이용한 작은 GAN의 성공적인 학습이 나타난다.