[論文レビュー] Many Paths to Equilibrium: GANs Do Not Need to Decrease a Divergence At Every Step

William Fedus, Mihaela Rosca+4 more|arXiv (Cornell University)|Oct 23, 2017

Global Energy and Sustainability Research参考文献 19被引用数 100

ひとこと要約

この論文は、 GAN の訓練は各ステップで発散を単調に minim化する必要がないことを主張する。学習は underlying divergence が毎ステップ減少しない軌道を通じて Nash equilibria に向かって進むことができ、発散ベースの見解からの勾配ペナルティは non-divergence-based training を支援することもあり得る。

ABSTRACT

Generative adversarial networks (GANs) are a family of generative models that do not minimize a single training criterion. Unlike other generative models, the data distribution is learned via a game between a generator (the generative model) and a discriminator (a teacher providing training signal) that each minimize their own cost. GANs are designed to reach a Nash equilibrium at which each player cannot reduce their cost without changing the other players' parameters. One useful approach for the theory of GANs is to show that a divergence between the training distribution and the model distribution obtains its minimum value at equilibrium. Several recent research directions have been motivated by the idea that this divergence is the primary guide for the learning process and that every step of learning should decrease the divergence. We show that this view is overly restrictive. During GAN training, the discriminator provides learning signal in situations where the gradients of the divergences between distributions would not be useful. We provide empirical counterexamples to the view of GAN training as divergence minimization. Specifically, we demonstrate that GANs are able to learn distributions in situations where the divergence minimization point of view predicts they would fail. We also show that gradient penalties motivated from the divergence minimization perspective are equally helpful when applied in other contexts in which the divergence minimization perspective does not predict they would be helpful. This contributes to a growing body of evidence that GAN training may be more usefully viewed as approaching Nash equilibria via trajectories that do not necessarily minimize a specific divergence at each step.

研究の動機と目的

• 標準的/ミニマックス/非飽和 GAN および関連する発散に関する用語の明確化。
• GAN 手法の改善が発散の最小化によるものか、それとも他の学習ダイナミクスによるものかを実証的に検証。
• JS 発散が有用な勾配を提供しない合成タスクで非飽和 GAN を評価。
• 合成データと実データの両方に対して、非飽和 GAN に対する勾配ペナルティの影響を評価。

提案手法

• Non-saturating GANs (NS-GAN) と minimax GANs (M-GAN) を定義・比較し、それを JS divergence に関連づけて説明。
• 勾配ペナルティ (GAN-GP and DRAGAN-NS) を導入し、NS-GAN に適用。
• データが低次元の多様体上にある合成実験を実施して学習ダイナミクスを検証。
• Color MNIST、CelebA、CIFAR-10 に対して、複数の指標を用いて NS-GAN と勾配ペナルティを加えた variants を評価。
• 識別器の更新回数を変化させたときのハイパーパラメータの頑健性と訓練ダイナミクスを分析。
• 勾配と発散の役割を理解するため、WGAN-GP との定性的および定量的比較を提供。

実験結果

リサーチクエスチョン

• RQ1 JS divergence の最小化が失敗を予測するタスクで NS-GAN は成功するか？
• RQ2 勾配ペナルティは発散最小化の変化ではなく、最適化ダイナミクスの改善によって NS-GAN の訓練を改善するのか？
• RQ3 異なるハイパーパラメータで実画像データセット上の NS-GAN および勾配ペナルティを加えた NS-GAN の性能はどうか？
• RQ4 合成の低次元多様体タスクと実世界データセットの間で結果は一貫しているか？

主な発見

• NS-GAN は JS divergence minimization が失敗するときでも真のデータ多様体へ収束できる。
• 勾配ペナルティ（GAN-GP and DRAGAN-NS）は NS-GAN の訓練を安定化させ、収束と頑健性を向上させる。
• NS-GAN with gradient penalties yields better sample quality and diversity on several real datasets compared to vanilla NS-GAN.
• WGAN-GP can fail to learn on some hyperparameters (e.g., CelebA), while NS-GAN variants with penalties are more robust.
• Disentangling improvements from divergence versus training dynamics shows that gradient penalties improve optimization regardless of the underlying divergence perspective.