[論文レビュー] Improving GANs Using Optimal Transport

Tim Salimans, Han Zhang+2 more|arXiv (Cornell University)|Mar 15, 2018

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 46

ひとこと要約

OT-GANは、原始形の最適輸送と敵対的に学習された特徴空間を組み合わせたミニバッチエネルギー距離を導入し、GANの訓練をより安定に行い、複数のベンチマークで最先端の結果を達成します。

ABSTRACT

We present Optimal Transport GAN (OT-GAN), a variant of generative adversarial nets minimizing a new metric measuring the distance between the generator distribution and the data distribution. This metric, which we call mini-batch energy distance, combines optimal transport in primal form with an energy distance defined in an adversarially learned feature space, resulting in a highly discriminative distance function with unbiased mini-batch gradients. Experimentally we show OT-GAN to be highly stable when trained with large mini-batches, and we present state-of-the-art results on several popular benchmark problems for image generation.

研究の動機と目的

• 生成モデルを、生成器とデータ分布間の識別的で偏りのないミニバッチ距離で動機づける。
• 原始的最適輸送と adversarially learned feature space を融合した新しいミニバッチエネルギー距離を提案する。
• 識別性と訓練の安定性を向上させるため、学習された潜在空間で輸送コストを敵対的に学習することでOT-GANを開発する。
• 標準ベンチマークで最先端の性能を示し、安定性とモード多様性を分析する。

提案手法

• Mini-batch Energy Distance D2_MED(p, g)を、ミニバッチSinkhorn（エントロピー正則化OT）と学習された特徴空間でのエネルギー距離様の項を組み合わせた二乗距離として定義する。
• 輸送コストcη(x, y)を、ニューラル批評家が生成する正規化された埋め込みvη(x)とvη(y)のコサイン距離として学習し、得られたミニバッチエネルギー距離を最大化する。
• 交互勾配更新で生成器と敵対的輸送コスト批評家を訓練し、批評家の劣化を防ぐために生成器をより頻繁に更新する。
• Sinkhornアルゴリズムを用いてマッチング行列を計算するが、それを逆伝播しない（包絡定理の正当化）。
• サイド情報Sをミニバッチ計算に組み込むことで条件付き生成に拡張する（アルゴリズム2）。
• CIFAR-10実験のアーキテクチャと訓練の詳細を、生成器/批評家の設計と最適化設定を含めて提供する。

実験結果

リサーチクエスチョン

• RQ1 原始形の最適輸送を敵対的に学習された特徴空間と統合することで、GANの訓練において識別的で偏りのないミニバッチ距離を生み出すか？
• RQ2 OT-GANは標準ベンチマーク（例：CIFAR-10、ImageNet Dogs）および大規模ミニバッチ設定下で、ベースラインより安定性とサンプル品質を改善するか？
• RQ3 輸送コスト関数を敵対的に学習することは、固定コストやランダムマッチングのベースラインと比べて性能とロバスト性にどう影響するか？
• RQ4 OT-GANはモード崩壊を緩和し、難易度の高いデータセットで長期訓練時の多様性を維持できるか？

主な発見

手法	Inceptionスコア
実データ	11.95 ± .12
DCGAN	6.16 ± .07
改良版GAN	6.86 ± .06
デノイジングFM	7.72 ± .13
WGAN-GP	7.86 ± .07
OT-GAN	8.47 ± .12

• OT-GANはCIFAR-10でベースラインと比較して最先端のInceptionスコアを達成する（8.47 ± .12）。
• 大規模ミニバッチでは、OT-GANは訓練の安定性とモードカバレッジを改善し、 toyデータ実験および実データ実験で崩壊を回避する。
• 敵対的に学習された輸送コストは、固定コストやランダムマッチングの事例を大幅に上回り、コスト関数を学習する重要性を強調する。
• ImageNet Dogsでは、OT-GANは調整済みDCGAN系より高いInceptionスコア（8.97 ± .09）を達成し、画像品質がより良いことを示している。
• 条件付きOT-GANはCUBテキストから画像へのタスクで、いくつかの従来法より高いInceptionスコアを達成する（3.84 ± .05）。