[論文レビュー] Relaxed Wasserstein with Applications to GANs

Xin Guo, Johnny Hong+2 more|arXiv (Cornell University)|May 19, 2017

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 22

ひとこと要約

本稿では、Bregmanコスト関数を用いてWasserstein-1を一般化することで、より柔軟かつ計算的に効率的なGAN訓練を可能にする、緩和 Wasserstein (RW) 距離を導入する。提案されたKullback-Leiblerコストを用いたRWGANは、実画像データセットにおいて収束速度とロバスト性の面でWGANおよび勾配ペナルティ付きWGANを上回る性能を発揮する。

ABSTRACT

Wasserstein Generative Adversarial Networks (WGANs) provide a versatile class of models, which have attracted great attention in various applications. However, this framework has two main drawbacks: (i) Wasserstein-1 (or Earth-Mover) distance is restrictive such that WGANs cannot always fit data geometry well; (ii) It is difficult to achieve fast training of WGANs. In this paper, we propose a new class of extit{Relaxed Wasserstein} (RW) distances by generalizing Wasserstein-1 distance with Bregman cost functions. We show that RW distances achieve nice statistical properties while not sacrificing the computational tractability. Combined with the GANs framework, we develop Relaxed WGANs (RWGANs) which are not only statistically flexible but can be approximated efficiently using heuristic approaches. Experiments on real images demonstrate that the RWGAN with Kullback-Leibler (KL) cost function outperforms other competing approaches, e.g., WGANs, even with gradient penalty.

研究の動機と目的

• WGANの限界、特に制限されたデータ幾何の適合性と遅い収束性を是正する。
• 統計的柔軟性と計算の実行可能性の両立を図る一般化された距離尺度を開発する。
• 高品質なサンプル生成を維持しつつ、GANの訓練をより高速かつ安定化する。
• Bregman発散をコスト関数として用いることで、生成モデル学習の統一枠組みを提供する。

提案手法

• Bregmanコスト関数を用いてWasserstein-1距離を一般化し、新しいクラスの緩和 Wasserstein (RW) 距離を定義する。
• RW距離が全変動距離によって支配されることを証明し、非漸近的モーメント推定を導出する。
• RW距離の双対表現を確立し、勾配ベース最適化を可能にする。
• Bregman関数に基づく非対称クリッピングヒューリスティックを提案し、識別器におけるリプシッツ制約を強制する。
• RW距離をGANフレームワークに統合し、RWGANを構築する。訓練には大ステップサイズのRMSPropを用いる。
• DCGANおよびMLPアーキテクチャを用いてCIFAR-10およびImageNetで画像生成にこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 Bregmanコスト関数は、計算効率を損なわずにWasserstein GANの統計的柔軟性を向上させることができるか？
• RQ2 RW距離の双対性は、GANにおける有効な勾配ベース訓練をどのように可能にするか？
• RQ3 RWGANフレームワークは、WGANおよび勾配ペナルティ付きWGANと比較して、より速い収束性と優れたロバスト性を達成できるか？
• RQ4 異なるBregmanコスト関数（例：KL発散）が、サンプル品質および訓練安定性に与える影響は何か？
• RQ5 RWGANはCIFAR-10やImageNetのような多様な画像データセットに一般化できるか？

主な発見

• CIFAR-10およびImageNetにおいて、Kullback-Leiblerコスト関数を用いたRWGANは、WGANおよび勾配ペナルティ付きWGANよりも高いインセプションスコアを達成する。
• CIFAR-10では、DCGANアーキテクチャを用いたRWGANは、訓練終了時点でインセプションスコア2.70を達成し、WGAN（2.80）およびWGAN(g)（2.73）を上回る。
• ImageNetでは、RWGANはインセプションスコア2.70を達成し、WGANと同等の性能を示し、最終エポックではWGAN(g)（2.73）をわずかに上回る。
• 訓練曲線から、RWGANはWGAN(g)と比較してより速く収束し、生成器および識別器の損失がより安定していることが明らかになった。
• RWGANが生成するサンプル画像は、10エポック目までに解釈可能になることが確認され、より速い学習ダイナミクスを示した。
• 非対称クリッピングとBregmanベースのコスト関数を組み合わせたRWGANフレームワークは、効果的かつ効率的な訓練を可能にし、ロバスト性と効率性のバランスを図っている。