[論文レビュー] Fictitious GAN: Training GANs with Historical Models

Hao Ge, Xia Yin+3 more|arXiv (Cornell University)|Mar 23, 2018

Generative Adversarial Networks and Image Synthesis被引用数 10

ひとこと要約

Fictitious GAN は、生成対抗ネットワークの訓練を安定化させ、収束を改善するために、歴史的な生成器および識別器モデルの混合を用いる新しい訓練手法を提案する。各ネットワークを過去のモデル出力の平均に対する最良応答に基づいて更新することで、生成器の平均出力が漸近的に真のデータ分布と一致することを保証し、一般的な失敗モード（モード崩壊や振動）を解消する。

ABSTRACT

Generative adversarial networks (GANs) are powerful tools for learning generative models. In practice, the training may suffer from lack of convergence. GANs are commonly viewed as a two-player zero-sum game between two neural networks. Here, we leverage this game theoretic view to study the convergence behavior of the training process. Inspired by the fictitious play learning process, a novel training method, referred to as Fictitious GAN, is introduced. Fictitious GAN trains the deep neural networks using a mixture of historical models. Specifically, the discriminator (resp. generator) is updated according to the best-response to the mixture outputs from a sequence of previously trained generators (resp. discriminators). It is shown that Fictitious GAN can effectively resolve some convergence issues that cannot be resolved by the standard training approach. It is proved that asymptotically the average of the generator outputs has the same distribution as the data samples.

研究の動機と目的

• 標準の対抗訓練で生じる一般的な収束問題（モード崩壊や振動）を解消すること。
• GAN 訓練を二人零和ゲームとして形式化し、ゲーム理論的原則を適用して安定性を向上させること。
• 歴史的モデルを用いて現在の更新を誘導する訓練手法を開発し、多様性と分布一致を向上させること。
• 提案されたフレームワーク下で、生成サンプルの平均が真のデータ分布に収束することを理論的に証明すること。
• 既存の GAN アーキテクチャおよび最適化手法と互換性があり、計算コストの増加がない低複雑度のプラグインメタアルゴリズムを提供すること。

提案手法

• 識別器は、以前に訓練された生成器の出力の均一混合に対する最良応答に基づいて更新される。
• 生成器は、以前に訓練された識別器の出力の均一混合に対する最良応答に基づいて更新される。
• 各訓練ステップで、過去の生成器および識別器パラメータの移動平均を用いて歴史的混合を形成する。
• この手法は、ゲーム理論における架空のプレーに基づくもので、プレイヤーは相手の過去戦略の経験的分布に対して最良応答を行う。
• 最適化目的関数は、平均生成分布とデータ分布の間のジェンセン・シャノン発散を最小化することに再定式化される。
• 標準的なディープラーニングフレームワークを用いて実装され、Adam 最適化が使用され、モデルの再訓練や重み付き平均化を必要としない。

実験結果

リサーチクエスチョン

• RQ1 架空のプレーに基づくゲーム理論的アプローチは、GAN 訓練の収束性と安定性を向上させることができるか？
• RQ2 歴史的モデルの混合を用いることで、より良い分布一致とモード崩壊の低減が達成できるか？
• RQ3 提案された訓練方式下で、生成器の出力の平均が真のデータ分布に収束するか？
• RQ4 訓練ダイナミクスおよびサンプル品質の観点から、標準 GAN 訓練と比較して、本手法はどのように異なるか？
• RQ5 架空の訓練メカニズムは、計算コストの増加なしに、既存の GAN アーキテクチャおよび最適化手法と互換性があるか？

主な発見

• 平均生成分布とデータ分布の間のジェンセン・シャノン発散が 0 に近づくため、生成器出力の平均は真のデータ分布に収束する。
• 識別器の出力は、最適関数 $ D^*(\mathbf{x}) = \frac{p_d(\mathbf{x})}{p_d(\mathbf{x}) + p_g^*(\mathbf{x})} $ に収束する。ここで $ p_g^* = p_d $ である。
• 本手法は、生成器の出力がデータ分布と一致し、識別器が出力すべてに対して 0.5 を出力する一意のナッシュ均衡に到達する。
• 合成データおよび実データセット（MNIST、CIFAR-10、Celeb-A）における実験結果から、標準 GAN 訓練に比べて訓練の安定性とサンプルの多様性が向上していることが示された。
• 追加のハイパーパramータや複雑なモデル平均化を必要とせず、最小限の計算コストで歴史的モデルの均一平均化を用いる。
• 理論的分析により、標準の勾配ベース手法が失敗する場合でさえも、ややきわめて弱い正則性条件のもとで訓練プロセスが最適解に収束することが確認された。