[논문 리뷰] Poincaré Recurrence, Cycles and Spurious Equilibria in Gradient-Descent-Ascent for Non-Convex Non-Concave Zero-Sum Games

Emmanouil-Vasileios Vlatakis-Gkaragkounis, Lampros Flokas외 1명|arXiv (Cornell University)|2019. 10. 28.

Markov Chains and Monte Carlo Methods참고 문헌 28인용 수 19

한 줄 요약

이 논문은 비볼록 비볼록 0-합공격 게임에서의 경사하강-상승 역학을 분석하며, GANs에서 관찰되는 간접적 경쟁 구조로 인해 이러한 역학이 의미 있는 미니맥스 해에 수렴하기보다는 Poincaré 재진입, 주기적 순환, 그리고 허위 균형에 수렴할 수 있음을 보여준다. 연구는 최적화, 게임 이론, 동역학계 이론을 융합하여 초기 조건의 양의 측도에 대해 이러한 행동을 규명한다.

ABSTRACT

We study a wide class of non-convex non-concave min-max games that generalizes over standard bilinear zero-sum games. In this class, players control the inputs of a smooth function whose output is being applied to a bilinear zero-sum game. This class of games is motivated by the indirect nature of the competition in Generative Adversarial Networks, where players control the parameters of a neural network while the actual competition happens between the distributions that the generator and discriminator capture. We establish theoretically, that depending on the specific instance of the problem gradient-descent-ascent dynamics can exhibit a variety of behaviors antithetical to convergence to the game theoretically meaningful min-max solution. Specifically, different forms of recurrent behavior (including periodicity and Poincar\'{e} recurrence) are possible as well as convergence to spurious (non-min-max) equilibria for a positive measure of initial conditions. At the technical level, our analysis combines tools from optimization theory, game theory and dynamical systems.

연구 동기 및 목표

• 비볼록 비볼록 최소최대 게임에서의 경사하강-상승 역학, 특히 생성적 대립 네트워크(GANs)의 맥락에서의 역학을 이해하는 것.
• 재귀적 또는 주기적 행동으로 인해 최소최대 균형에 수렴하지 못하는 조건을 규명하는 것.
• 초기 조건의 양의 측도에 대해 궤적을 끌어당기는 허위 균형의 존재를 분석하는 것.
• 표준 이항형 0-합공격 게임을 넘는 광범위한 게임 클래스에서 경사하강-상승의 불안정성을 공식적으로 특성화하는 것.

제안 방법

• 플레이어가 매끄러운 함수의 입력을 제어하고, 그 출력이 이항형 0-합공격 게임에 입력되는 비볼록 비볼록 게임의 클래스를 수학적으로 정의하는 것.
• 장기적 경향을 분석하기 위해 동역학계 이론의 도구를 적용하여 경사하강-상승 궤적의 장기적 행동을 분석하는 것.
• 최적화 및 게임 이론 프레임워크를 사용하여 균형과 안정성 특성을 특성화하는 것.
• 위상수학적 및 분석적 추론을 통해 Poincaré 재진입과 주기 궤도의 존재를 입증하는 것.
• 측도론적 추론을 사용하여 허위 균형이 초기 조건의 양의 측도에 대해 매력적일 수 있음을 보여주는 것.
• 최적화, 게임 이론, 동역학계 이론의 기법을 융합하여 복잡한 게임 역학에서 수렴성과 재진입을 분석하는 것.

실험 결과

연구 질문

• RQ1 비볼록 비볼록 0-합공격 게임에서의 경사하강-상승 역학은 최소최대 균형에 수렴할 수 있는가, 아니면 재귀적 행동이 나타나는가?
• RQ2 어떤 조건에서 허위 균형이 초기 조건의 양의 측도에 대해 궤적을 끌어당기는가?
• RQ3 Poincaré 재진입과 주기성이 이러한 게임의 역학에서 어느 정도 나타나는가?
• RQ4 GANs의 간접적 경쟁 구조는 학습 역학의 불안정성을 어떻게 초래하는가?
• RQ5 이 게임 클래스에서 수렴성 또는 비수렴성에 대해 어떤 이론적 보장을 할 수 있는가?

주요 결과

• 연구된 게임 클래스에서의 경사하강-상승 역학은 Poincaré 재진입을 보일 수 있으며, 이는 궤적이 무한히 자주 초기 상태에 임의로 가까이 돌아오는 것을 의미한다.
• 일부 매개변수 설정에서는 주기적 행동, 특히 안정한 한계 순환(극한 순환)이 가능하다.
• 허위(최소최대가 아닌) 균형은 초기 조건의 양의 측도에 대해 매력적일 수 있으며, 이는 의미 있는 해에 수렴하는 것이 일반적이지 않음을 시사한다.
• 이론적 분석을 통해 비볼록 비볼록이지만 매끄럽고 잘 구성된 게임에서도 최소최대 균형에 수렴하지 않는다는 것이 확인된다.
• 동역학계 이론의 관점에서 이러한 역학은 본질적으로 불안정하며, 재진입하고 수렴하지 않는 궤적이 널리 퍼져 있음을 보여준다.
• 결과는 GAN 학습에서 경사하강-상승의 본질적 한계를 부각하며, 이러한 행동이 모드 붕괴와 학습 불안정성을 설명할 수 있음을 시사한다.