[논문 리뷰] Interaction Matters: A Note on Non-asymptotic Local Convergence of Generative Adversarial Networks

Tengyuan Liang, James Stokes|arXiv (Cornell University)|2018. 02. 16.

Mathematical Biology Tumor Growth인용 수 95

한 줄 요약

이 논문은 매끄러운 두 플레이어 게임에 대한 비점근적(local) 수렴 이론을 제시하며, 비대각 상호작용이 SGA에 미치는 영향과 네 가지 안정화 다이나믹스(OMD, CO, IU, PM)가 불안정한 경우 지수적 수렴을 달성하는 방법을 보여주며, 연결 및 학습률 가이드를 제시한다.

ABSTRACT

Motivated by the pursuit of a systematic computational and algorithmic understanding of Generative Adversarial Networks (GANs), we present a simple yet unified non-asymptotic local convergence theory for smooth two-player games, which subsumes several discrete-time gradient-based saddle point dynamics. The analysis reveals the surprising nature of the off-diagonal interaction term as both a blessing and a curse. On the one hand, this interaction term explains the origin of the slow-down effect in the convergence of Simultaneous Gradient Ascent (SGA) to stable Nash equilibria. On the other hand, for the unstable equilibria, exponential convergence can be proved thanks to the interaction term, for four modified dynamics proposed to stabilize GAN training: Optimistic Mirror Descent (OMD), Consensus Optimization (CO), Implicit Updates (IU) and Predictive Method (PM). The analysis uncovers the intimate connections among these stabilizing techniques, and provides detailed characterization on the choice of learning rate. As a by-product, we present a new analysis for OMD proposed in Daskalakis, Ilyas, Syrgkanis, and Zeng [2017] with improved rates.

연구 동기 및 목표

• GAN을 두-player 제로합 게임으로 간주한 비점근적이고 로컬 수렴에 대한 이해를 제고한다.
• SGA 하에서 비대각 상호작용 항이 수렴 속도에 어떤 영향을 미치는지 특성화한다.
• 안정화된 saddle-point 다이나믹스(OMD, CO, IU, PM)에 대한 분석을 개발하고 통합하며 학습률 가이드를 제공한다.
• 이 안정화된 방법들을 쌍선형/불안정한 로컬 설정에서 상호작용 항에 의해 유도된 곡률과 연결한다.

제안 방법

• GAN 학습을 로컬 내 Nash 균형을 갖는 매끄러운 두 플레이어 제로합 게임으로 공식화한다.
• 로컬 강볼록강박성(local strong convexity-concavity) 하에서 SGA에 대한 비점근적 지수 수렴 결과를 도출한다 (정리 1).
• 상호작용 항 C로 인한 느려짐을 분리하고, 속도 특성화를 위한 행렬 F 및 파라미터 α, β를 도입한다.
• 불안정한(bi-linear) 로컬 게임을 분석하고 네 가지 안정화 다이나믹스의 지수적 수렴을 보인다(정리 3–6).
• 바이 리니어 설정에서 각 방법에 대한 명시적 학습률 선택을 제공하고 방법들을 상호작용 곡률과 연결한다.
• 선행 결과에 비해 Optimistic Mirror Descent (OMD)에 대한 향상된 분석을 제공한다.

실험 결과

연구 질문

• RQ1 두 플레이어 게임에서의 비대각 상호작용 항이 비점근적 수렴 속도에 어떤 영향을 미치는가?
• RQ2 SGA가 적절한 학습률을 가정할 때 안정적 로컬 내 Nash 균형으로 지수적으로 수렴하는가?
• RQ3 안정화된 샐들-포인트 다이나믹스(OMD, CO, IU, PM)는 불안정/로컬 바이리니어 게임에서 지수적 수렴을 보이는가, 학습률은 어떻게 선택되는가?
• RQ4 이 stabilized 방법들 사이의 연결고리는 무엇이며 상호작용 곡률을 어떻게 활용하여 GAN 학습을 안정시키는가?
• RQ5 이 로컬 결과가 실제 GAN 목적 함수와 어떻게 관련되며 학습률 선택에 어떤 지침을 제공하는가?

주요 결과

• SGA는 신중하게 선택된 고정 학습률로 안정적 로컬 내 Nash 균형으로 기하급수적으로 수렴하지만, 비대각 상호작용 항으로 인해 느려진다.
• 불안정하거나 근접한 비선형/바이리니어 로컬 게임에서는 SGA가 0이 아닌 모든 학습률에서 발산하는 반면, 네 가지 안정화 다이나믹스는 지수적 수렴을 달성한다(OMD, CO, IU, PM).
• 상호작용 항의 곡률은 안정화된 방법들 전반에서 유사하게 활용되어 다이나믹스를 안정시키고 바이리니어 설정에서 더 빠른 수렴을 달성한다.
• 통합된 관점은 OMD, PM, CO, 그리고 암시적 업데이트를 연결하고, 이들이 안정화를 위한 곡률 활용 메커니즘을 공유함을 보여준다.
• 본 논문은 바이리니어(불안정) 설정에서 이 방법들에 대한 명시적 학습률 가이드를 제공하고 표준 SGA와의 성능 차이를 비교한다.