[論文レビュー] First Order Generative Adversarial Networks

Calvin Seward, Thomas Unterthiner+3 more|arXiv (Cornell University)|Feb 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 30被引用数 5

ひとこと要約

本稿では、勾稽の一次情報に正則化する分散を導入することで、偏りのない勾配降下更新を保証する、新たな生成対抗ネットワーク First Order GAN (FOGAN) を提案する。本手法は、画像生成（CelebA における FID: 6.0）で最先端の性能を達成し、One Billion Word 語彙モデル化ベンチマークでも WGAN-GP よりも高速な学習速度と優れたサンプル品質を実現し、新たな SOTA を樹立した。

ABSTRACT

GANs excel at learning high dimensional distributions, but they can update generator parameters in directions that do not correspond to the steepest descent direction of the objective. Prominent examples of problematic update directions include those used in both Goodfellow's original GAN and the WGAN-GP. To formally describe an optimal update direction, we introduce a theoretical framework which allows the derivation of requirements on both the divergence and corresponding method for determining an update direction, with these requirements guaranteeing unbiased mini-batch updates in the direction of steepest descent. We propose a novel divergence which approximates the Wasserstein distance while regularizing the critic's first order information. Together with an accompanying update direction, this divergence fulfills the requirements for unbiased steepest descent updates. We verify our method, the First Order GAN, with image generation on CelebA, LSUN and CIFAR-10 and set a new state of the art on the One Billion Word language generation task. Code to reproduce experiments is available.

研究の動機と目的

• GAN の根本的問題に取り組むこと：標準的な学習更新が、分散の真の最急降下方向と一致しないこと。
• ミニバッチ学習において偏りのない最急降下更新を保証する理論的枠組みを形式化すること。これには、分散と更新ルールに4つの重要な要件を定義する。
• Wasserstein 距離を近似しつつ、批判者（critic）の一次情報に明示的な正則化を施すことで、最適な更新方向を得られる新たな分散を考案すること。
• 画像生成（CelebA, LSUN, CIFAR-10）および長文脈言語モデル化（One Billion Word）における実験的検証を通じて、性能と安定性の向上を示すこと。

提案手法

• 批判者の勾配ノルムをペナルティ化する新たな敵対的分散を提案し、これにより批判者の一次情報が、真の最急降下方向の偏りのない推定値を計算するために利用可能になるように保証する。
• 偏りのない最急降下更新のための理論的要件に基づいて、Wasserstein 距離と勾配ペナルティを組み合わせた変更された目的関数を導出する。
• 実データと生成データを区別するための批判者ネットワークを訓練し、その勾配を直接生成者（generator）の更新方向として用いる。理論的保証に基づく。
• 特に高次元および長文脈タスクにおいて、訓練の安定性と収束性を向上させるために、生成者にバッチ正則化を適用する。
• Fréchet Inception Distance (FID) および Jensen-Shannon 散発 (JSD) を用いて、画像および文字レベルの言語モデル化の両方のタスクに本手法を適用する。
• 固定されたハイパーパramータ（λ=0.1, μ=1.0）を用いて学習し、言語モデル化の JSD 評価におけるバイアス低減のため、大規模なサンプリング（6400 ベクトル）を実施する。

実験結果

リサーチクエスチョン

• RQ1 GAN 学習における生成者の更新方向が、真の最急降下方向の偏りのない推定値となるような分散を設計できるか？
• RQ2 偏りのない勾配更新によってターゲット分布に収束させるために、分散と更新ルールが満たすべき理論的条件は何か？
• RQ3 批判者の一次情報に正則化を施すことで、標準的な WGAN-GP よりも安定的かつ効果的な学習が達成できるか？
• RQ4 本手法は、画像および長文脈言語生成タスクの両方で最先端の性能を達成できるか？
• RQ5 同等の評価条件下で、FOGAN と WGAN-GP の間で訓練効率およびサンプル品質に差異があるか？

主な発見

• CelebA データセットにおいて、FOGAN は FID 6.0 を達成し、WGAN-GP（4.2）を上回り、ハイパーパramータチューニングなしで他の最先端手法と同等またはそれを上回る性能を示した。
• LSUN では、FOGAN が FID 11.4 を達成し、DCGAN（57.5）および WGAN-GP（9.5）を大きく上回り、サンプル品質と訓練安定性の向上を示した。
• CIFAR-10 では、FOGAN が FID 27.4 を達成し、WGAN-GP（24.8）と同等の性能であり、DCGAN（57.5）を大きく上回った。これは、異なるデータセット間での優れた一般化性能を示している。
• One Billion Word 語彙モデル化タスクでは、FOGAN が 6-gram JSD 0.556±0.004 を達成し、WGAN-GP（0.573±0.009）を上回り、統計的に有意な改善（p < 0.05、2σ の差）を示した。
• 実時間比較（図2）により、実データと生成データの間の追加ポイントのサンプリングを回避できるため、FOGAN の訓練は WGAN-GP よりも高速であることが確認された。
• 本手法は、特に高次元かつスパースなデータ環境下で、サンプル品質と訓練効率の両面で、One Billion Word ベンチマークで新たな SOTA を樹立した。