[論文レビュー] Interaction Matters: A Note on Non-asymptotic Local Convergence of Generative Adversarial Networks

Tengyuan Liang, James Stokes|arXiv (Cornell University)|Feb 16, 2018

Mathematical Biology Tumor Growth被引用数 95

ひとこと要約

この論文は、滑らかな二人プレーヤーゲームの非漸近的ローカル収束理論を提示し、off-diagonal interaction が SGA に与える影響と、4つの安定化ダイナミクス（OMD、CO、IU、PM）が不安定な場合に指数収束を達成すること、相互作用と学習率の指針との関係を示す。

ABSTRACT

Motivated by the pursuit of a systematic computational and algorithmic understanding of Generative Adversarial Networks (GANs), we present a simple yet unified non-asymptotic local convergence theory for smooth two-player games, which subsumes several discrete-time gradient-based saddle point dynamics. The analysis reveals the surprising nature of the off-diagonal interaction term as both a blessing and a curse. On the one hand, this interaction term explains the origin of the slow-down effect in the convergence of Simultaneous Gradient Ascent (SGA) to stable Nash equilibria. On the other hand, for the unstable equilibria, exponential convergence can be proved thanks to the interaction term, for four modified dynamics proposed to stabilize GAN training: Optimistic Mirror Descent (OMD), Consensus Optimization (CO), Implicit Updates (IU) and Predictive Method (PM). The analysis uncovers the intimate connections among these stabilizing techniques, and provides detailed characterization on the choice of learning rate. As a by-product, we present a new analysis for OMD proposed in Daskalakis, Ilyas, Syrgkanis, and Zeng [2017] with improved rates.

研究の動機と目的

• GANs を二人プレーヤーのゼロ和ゲームとして非漸近的かつ局所的な収束理解を動機づける。
• off-diagonal の相互作用項が SGA による収束速度にどのように影響するかを特徴づける。
• 安定化されたサドル点ダイナミクス（OMD、CO、IU、PM）の分析を統一し、学習率の指針を提供する。
• 安定化手法と bilinear/不安定な局所設定での相互作用項による曲率との関係をつなぐ。

提案手法

• GAN のトレーニングをローカルナッシュ均衡を持つ滑らかな二人プレーヤーゼロ和ゲームとして定式化する。
• 局所的に強い凸凹性を仮定した場合の SGA に対する非漸近的な指数収束結果を導出する（Theorem 1）。
• 相互作用項 C による遅延を分離し、行列 F と rate の特徴づけのためのパラメータ α、β を導入する。
• 不安定（線形双線形）局所ゲームを分析し、4つの安定化ダイナミクスの指数収束を示す（Theorems 3–6）。
• 二線形設定における各手法の明示的な学習率の選択を提供し、手法と相互作用の曲率との関係を説明する。
• OMD（Optimistic Mirror Descent）について、先行研究と比較して改善された分析を提供する。

実験結果

リサーチクエスチョン

• RQ1 二人プレーヤーゲームにおけるオフ対角相互作用項は非漸近的収束速度にどのような影響を与えるか？
• RQ2 SGA は適切な学習率の下で安定な局所ナッシュ均衡へ指数的に収束することを示せるか？
• RQ3 安定化されたサドル点ダイナミクス（OMD、CO、IU、PM）は不安定/局所的な線形双線形ゲームで指数収束を生み出すのか、学習率はどう選ぶべきか？
• RQ4 これらの安定化手法間にはどのようなつながりがあり、相互作用の曲率をどのように活用してGANのトレーニングを安定化させるのか？
• RQ5 これらの局所的結果は実際のGANの目的関数とどのように結びつき、学習率の選択にどんな指針を提供するか？

主な発見

• SGA は固定の適切な学習率を選べば安定な局所ナッシュ均衡へ指数的に収束するが、オフ対角の相互作用項により遅延が生じる。
• 不安定またはほぼ双線形な局所ゲームでは、SGA は非ゼロの学習率では発散する一方、4つの安定化ダイナミクス（OMD、CO、IU、PM）は指数収束を達成する。
• 相互作用項の曲率は、安定化された手法全体で同様に活用され、双線形設定でのダイナミクスを安定化し、より高速な収束を実現する。
• OMD、PM、CO、そして暗黙の更新との統一的な視点が、これらの手法が収束安定化のために曲率を活用する共通の機構を共有していることを示す。
• これらの手法の学習率指針を、不安定な局所設定（ビリニア）で明示的に提供し、標準的な SGA との性能を対比する。