[論文レビュー] Wasserstein GAN

Martín Arjovsky, Soumith Chintala+1 more|arXiv (Cornell University)|Jan 26, 2017

Fibroblast Growth Factor Research被引用数 606

ひとこと要約

本論文は Wasserstein GAN (WGAN) を導入し、Earth Mover distance を損失として用いて生成モデルを訓練する。理論的に訓練の安定性の改善とモード崩壊の低減を正当化し、経験的に示す。

ABSTRACT

We introduce a new algorithm named WGAN, an alternative to traditional GAN training. In this new model, we show that we can improve the stability of learning, get rid of problems like mode collapse, and provide meaningful learning curves useful for debugging and hyperparameter searches. Furthermore, we show that the corresponding optimization problem is sound, and provide extensive theoretical work highlighting the deep connections to other distances between distributions.

研究の動機と目的

• 密度が存在しない場合や従来の KL ベースの方法が低次元多様体上で機能しない場合の学習分布の動機づけ。
• 連続勾配を生み出す Wasserstein 距離（Earth Mover 距離）に基づく GAN の実用的な目的関数を提案。
• WGAN の理論的性質を示し、安定性とモードカバレッジの観点で標準的な GAN に対する経験的利点を示す。

提案手法

• 分布間の距離測度を定義・比較する（TV、KL、JS、EM）し、低次元多様体上の分布には EM がより適していると主張する。
• Kantorovich-Rubinstein の双対性を用いて EM 距離を 1-Lipschitz 関数の上極限として表現する。
• 重みクリッピングを介してリプシッツ連続性を強制し、パラメータ化された 1-Lipschitz 関数（クリティック）を用いて EM 距離を近似する。
• クリティックをほぼ最適解まで訓練し、クリティックを介して勾配を用いて生成器を更新し、EM 距離を最小化する。
• 複数のクリティック更新と生成器更新を実践的なハイパーパラメータで交互に行うアルゴリズム（WGAN）を提供する。
• 重みクリッピングの制約の限界を議論し、リプシッツ性の確保の改善領域を提案する。

実験結果

リサーチクエスチョン

• RQ1 Earth Mover 距離の最適化は生成モデルの訓練に対して連続的で有益な勾配を提供するか。
• RQ2 WGAN は訓練の安定性、モードカバレッジ、損失とサンプル品質の相関の観点で標準的な GAN と比較してどうか。
• RQ3 リプシッツ制約の適用など、WGAN の性能と安定性に影響を与える実務的配慮は何か。

主な発見

• WGAN は生成器の収束とサンプル品質と関連する意味のある損失指標を提供する。
• WGAN の訓練は従来の GAN より安定でモード崩壊が起きにくい。
• 最適性までクリティックを訓練すると生成器に信頼できる勾配が得られ、GAN の判別器が飽和して勾配消失を生むのと異なる。
• 経験的には、WGAN は標準的な GAN と比較して異なる生成器アーキテクチャに対しても頑健性が改善される。
• EM 距離はほとんど全ての点で連続的かつ微分可能であり、ニューラルネットワークでの勾配ベース最適化を支持する。