[論文レビュー] How to Train Your DRAGAN

Naveen Kodali, Jacob Abernethy+2 more|arXiv (Cornell University)|May 19, 2017

Generative Adversarial Networks and Image Synthesis参考文献 7被引用数 34

ひとこと要約

本稿では、非凸ゲームにおける偽の局所均衡を解消することで、訓練の安定化とモード崩壊の回避を図る、レグレット最小化を活用したGAN訓練アルゴリズムDRAGANを提案する。MNIST、CIFAR-10、CelebAの各データセットで、最小限のハイパーパrameterチューニングで最先端の性能を達成し、最近のWasserstein GANの変種を上回る。

ABSTRACT

Generative Adversarial Networks have emerged as an effective technique for estimating data distributions. The basic setup consists of two deep networks playing against each other in a zero-sum game setting. However, it is not understood if the networks reach an equilibrium eventually and what dynamics makes this possible. The current GAN training procedure, which involves simultaneous gradient descent, lacks a clear game-theoretic justification in the literature. In this paper, we introduce regret minimization as a technique to reach equilibrium in games and use this to justify the success of simultaneous GD in GANs. In addition, we present a hypothesis that mode collapse, which is a common occurrence in GAN training, happens due to the existence of spurious local equilibria in non-convex games. Motivated by these insights, we develop an algorithm called DRAGAN that is fast, simple to implement and achieves competitive performance in a stable fashion across different architectures (150 random setups), datasets (MNIST, CIFAR-10, and CelebA), and divergence measures with almost no hyperparameter tuning. We show significant improvements over the recently proposed Wasserstein GAN variants.

研究の動機と目的

• GAN訓練の理論的裏付けを理解すること、特に、ゲーム理論的根拠が欠如しているにもかかわらず、同時勾配降下がなぜ成功するのかを解明すること。
• モード崩壊の原因を特定し、非凸ゲームにおける偽の局所均衡に起因すると仮説を立てる。
• 多様なアーキテクチャ、データセット、乖離測度にわたって安定的かつ高品質な生成を達成できる、シンプルで頑健な訓練アルゴリズムを開発すること。
• ハイパーパrameterへの感受性を低減し、訓練の安定性と性能を向上させることで、既存のWGAN変種を改善すること。

提案手法

• ゲーム理論におけるレグレット最小化技術を応用し、GANにおける同時勾配降下の正当化と改善を図る。
• 偽の局所均衡への収束確率を低下させるために、GANの目的関数を変更するDRAGANという訓練アルゴリズムを提案する。
• 複雑なハイパーパrameterチューニングを必要としない、単純なアーキテクチャの修正を採用し、訓練ダイナミクスを安定化させる。
• 勾配更新とレグレットに基づく最適化を組み合わせることで、探索を促進し、モード崩壊を回避する。
• MNIST、CIFAR-10、CelebAで150通りのランダムな訓練設定を用い、複数の乖離測度を用いて手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 GANにおける同時勾配降下が、形式的なゲーム理論的根拠が欠如しているにもかかわらず、なぜ安定した訓練をもたらすのか？
• RQ2 GANにおけるモード崩壊の原因は何か？非凸ゲームにおける偽の局所均衡に起因すると考えられるか？
• RQ3 レグレット最小化はGAN訓練に効果的に適用可能であり、安定性と性能の向上に寄与するか？
• RQ4 DRAGANは、サンプル品質と訓練安定性の観点で、最先端のWGAN変種と比べてどのように差をつけるか？

主な発見

• DRAGANは、MNIST、CIFAR-10、CelebAの各データセットで、ほとんどハイパーパrameterチューニングを要せず、競争力のある性能を達成した。
• アルゴリズムは150通りのランダムなアーキテクチャおよびハイパーパrameter設定において安定した訓練を示し、頑健性を裏付けた。
• DRAGANは、最近提案されたWasserstein GANの変種と比較して、訓練の安定性とサンプル品質の両面で顕著に優れた性能を示した。
• レグレット最小化の導入により、偽の局所均衡への収束が抑制され、GAN訓練におけるモード崩壊の発生頻度が著しく低下した。