[論文レビュー] Discriminator Contrastive Divergence: Semi-Amortized Generative Modeling by Exploring Energy of the Discriminator

Yuxuan Song, Qiwei Ye+2 more|arXiv (Cornell University)|Apr 5, 2020

Generative Adversarial Networks and Image Synthesis参考文献 40被引用数 10

ひとこと要約

本稿では、Wasserstein GANのディスクライマをエネルギー関数として用い、Langevinダイナミクスを介してサンプル品質を向上させる、半アモルタイズド生成モデリング手法である識別子対照的分散（DCD）を提案する。生成を生成器の出力から初期化し、勾配に基づくMCMCステップでサンプルを精錬することで、DCDはCIFAR-10でSOTAのインceptionスコア（9.11）とFID（16.24）を達成し、ベースラインのGANや既存の後処理手法を顕著に上回った。

ABSTRACT

Generative Adversarial Networks (GANs) have shown great promise in modeling high dimensional data. The learning objective of GANs usually minimizes some measure discrepancy, extit{e.g.}, $f$-divergence~($f$-GANs) or Integral Probability Metric~(Wasserstein GANs). With $f$-divergence as the objective function, the discriminator essentially estimates the density ratio, and the estimated ratio proves useful in further improving the sample quality of the generator. However, how to leverage the information contained in the discriminator of Wasserstein GANs (WGAN) is less explored. In this paper, we introduce the Discriminator Contrastive Divergence, which is well motivated by the property of WGAN's discriminator and the relationship between WGAN and energy-based model. Compared to standard GANs, where the generator is directly utilized to obtain new samples, our method proposes a semi-amortized generation procedure where the samples are produced with the generator's output as an initial state. Then several steps of Langevin dynamics are conducted using the gradient of the discriminator. We demonstrate the benefits of significant improved generation on both synthetic data and several real-world image generation benchmarks.

研究の動機と目的

• Wasserstein GANのディスクライマ情報が十分に活用されていないという問題に取り組む。Wasserstein GANは実験的に優れた性能を示すが、そのクリティックを活用する手法が不足している。
• WGANのディスクライマをエネルギー関数に変換する汎用的な手法を構築し、サンプル品質を向上させることを目的とする。
• 生成器の初期化とLangevinダイナミクスによる反復的精錬を組み合わせることで、速度と品質のバランスを取る半アモルタイズド生成フレームワークを提案すること。
• 合成データおよび実世界のベンチマークを用いた実証的検証を通じて、インセプションスコアとFIDの継続的な向上を示すこと。

提案手法

• WGANにおけるディスクライマをエネルギー関数として解釈し、勾配に基づくMCMCサンプリングを可能にする。
• サンプルは生成器の出力から初期化され、ディスクライマの勾配を用いて複数ステップのLangevinダイナミクスで精錬される。
• 本手法は半アモルタイズドに動作し、生成器が初期提案を提供し、ディスクライマが勾配を介して精錬を導く。
• ピクセル空間および潜在空間の両方へ適用可能であり、アブレーションにより潜在空間での性能向上が示された。
• WGANの1リプシッツ制約を維持するよう訓練プロセスを調整し、精錬中の安定性を確保する。
• 標準指標であるインセプションスコアとFréchet Inception Distance（FID）を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 WGANのディスクライマを意味的にエネルギー関数として再利用することで、サンプル品質を向上させられるか？
• RQ2 Langevinダイナミクスを用いた半アモルタイズド生成フレームワークは、直接的な生成器サンプリングと比較して品質と多様性の面で優れているか？
• RQ3 MCMCを用いてディスクライマの勾配を活用することで、標準ベンチマークにおけるFIDおよびインセプションスコアに顕著な改善が得られるか？
• RQ4 提案手法はCIFAR-10やSTL-10のような異なるデータセットおよびアーキテクチャに一般化可能か？

主な発見

• CIFAR-10では、潜在空間に適用したDCDが、インセプションスコア9.11、FID16.24というSOTAの結果を達成し、ベースラインのSNGANや他の後処理手法を顕著に上回った。
• 条件付き生成において、DCDはCIFAR-10でFID15.05を達成し、BigGANのような大規模モデルと同等の性能を示した。
• STL-10では、インセプションスコア9.33、FID17.68を達成し、CIFAR-10を超えた一般化能力を示した。
• 可視化結果から、Langevinダイナミクスのプロセスが直接生成器サンプリングよりも現実的で多様性に富んだサンプルを生成することが確認された。
• 訓練中に敵対的アーチファクトの発生頻度が低下し、ロバストネス向上の可能性を示唆した。
• 半アモルタイズド設計により、サンプリング速度と生成品質の間で調整可能なトレードオフが可能であり、品質を優先する状況に適している。