[論文レビュー] On Convergence and Stability of GANs

Naveen Kodali, Jacob Abernethy+2 more|arXiv (Cornell University)|May 19, 2017

Generative Adversarial Networks and Image Synthesis参考文献 6被引用数 241

ひとこと要約

本論文はGANのトレーニングを後悔最小化として再解釈し、モード崩壊につながる非凸ダイナミクスを分析し、DRAGANを導入する。これは、アーキテクチャと目的関数を跨いで安定性とモデリング性能を向上させる勾配ペナルティ法である。

ABSTRACT

We propose studying GAN training dynamics as regret minimization, which is in contrast to the popular view that there is consistent minimization of a divergence between real and generated distributions. We analyze the convergence of GAN training from this new point of view to understand why mode collapse happens. We hypothesize the existence of undesirable local equilibria in this non-convex game to be responsible for mode collapse. We observe that these local equilibria often exhibit sharp gradients of the discriminator function around some real data points. We demonstrate that these degenerate local equilibria can be avoided with a gradient penalty scheme called DRAGAN. We show that DRAGAN enables faster training, achieves improved stability with fewer mode collapses, and leads to generator networks with better modeling performance across a variety of architectures and objective functions.

研究の動機と目的

• 発散最小化の代替として、GANトレーニングダイナミクスの後悔最小化ビューを提案する。
• 凸-凹のGAN設定と非凸のGAN設定における収束を分析し、モード崩壊の原因を特定する。
• モード崩壊を、実データ点の周囲でのディスクリミネータの鋭い勾配に起因すると特徴づける。
• 局所勾配ペナルティ法であるDRAGANを導入し、モード崩壊を緩和し、安定性とモデリング性能を向上させる。

提案手法

• 生成器と判別器の双方にノーリグレットアルゴリズムを適用した反復ゲームとしてGANトレーニングをモデル化する。
• 交互勾配更新を伴うGANトレーニングと後悔最小化との理論的な関係を提供する。
• 非凸ゲームダイナミクスを分析し、望ましくない局所均衡とモード崩壊の可能性を説明する。
• 実データ点の周囲での鋭いディスクリミネータ勾配をモード崩壊の特徴として特定する。
• DRAGANを提案する：実データの周囲でディスクリミネータの勾配を局所的に制約する勾配ペナルティ方式で、安定性を高める。

実験結果

リサーチクエスチョン

• RQ1 収束特性を説明するために、後悔最小化を通じてGANトレーニングダイナミクスを分析できるか？
• RQ2 非凸のGANゲームにおけるモード崩壊の機構は何であり、それをどう緩和できるか？
• RQ3 実データ点の周囲でディスクリミネータ勾配を局所的に制約することは、モデリング性能を損なうことなく、退化した局所平衡を防ぐか？
• RQ4 DRAGANはアーキテクチャと目的関数を超えて、他の勾配ペナルティ手法とどのように比較されるか？

主な発見

• GANを後悔最小化ゲームとして捉えることは、判別器が毎ステップ最適である必要を要求せず収束の洞察をもたらす。
• モード崩壊は、非凸GANゲームにおける望ましくない局所平衡と、実データ点の近傍での鋭いディスクリミネータ勾配に関連している。
• DRAGANの勾配ペナルティはモード崩壊を抑制し、さまざまなアーキテクチャでトレーニング安定性とモデリング性能を向上させる。
• DRAGANは安定性の点でWGAN-GPのような最先端勾配ペナルティ手法と同等かそれ以上で、トレーニング速度を維持する。
• 局所的な勾配ペナルティ（実データ周辺）は効果的であり、さまざまなGAN目的関数に跨る適用範囲が広いことが示される。