[論文レビュー] Wasserstein-2 Generative Networks

Alexander Korotin, Vage Egiazarian+3 more|arXiv (Cornell University)|Sep 28, 2019

Generative Adversarial Networks and Image Synthesis参考文献 37被引用数 19

ひとこと要約

本稿では、Wasserstein-2距離を活用して生成対抗ネットワークにおける学習安定性とサンプル品質を向上させる、Wasserstein-2生成ネットワーク（W2GN）を提案する。生成器を2-Wasserstein距離から導かれた計量を持つリーマン多様体上でのフローに基づく変換としてモデル化することにより、CIFAR-10 や CelebA といったベンチマークデータセットにおいて、より優れたモードカバレッジとサンプル忠実度を達成する。

ABSTRACT

We propose a novel end-to-end non-minimax algorithm for training optimal transport mappings for the quadratic cost (Wasserstein-2 distance). The algorithm uses input convex neural networks and a cycle-consistency regularization to approximate Wasserstein-2 distance. In contrast to popular entropic and quadratic regularizers, cycle-consistency does not introduce bias and scales well to high dimensions. From the theoretical side, we estimate the properties of the generative mapping fitted by our algorithm. From the practical side, we evaluate our algorithm on a wide range of tasks: image-to-image color transfer, latent space optimal transport, image-to-image style transfer, and domain adaptation.

研究の動機と目的

• 最適輸送理論を活用して、生成対抗ネットワークの学習安定性とサンプル品質を向上させること。
• 標準的な GAN におけるモードクラッシュとモードドロップを、2-Wasserstein距離に基づく幾何的定式化によって解消すること。
• 2-Wasserstein距離から導かれたリーマン計量の下で、生成器を微分同相写像として明示的にモデル化するフローに基づく生成モデルを開発すること。
• Wasserstein-2計量を介してデータ分布の内在的幾何を組み込むことで、より安定的かつ効率的な学習を可能にすること。
• FIDスコアおよびISスコアの観点から、CIFAR-10 や CelebA といった標準ベンチマークで優れた性能を示すことを実証すること。

提案手法

• シンプルな潜在分布からデータ多様体へ写像する生成器を、フローベースのアーキテクチャを用いて微分同相写像として定式化する。
• 実データ分布と生成データ分布の間の2-Wasserstein距離を用いて、生成器の学習目的を定義する。
• 潜在空間に、測地線距離がデータポイント間の2-Wasserstein距離に対応するリーマン計量を導入する。
• 生成器のフローを定義するベクトル場をニューラルネットワークでパラメータライズし、滑らかで逆写像可能な変換を保証する。
• Wasserstein-2計量に基づく勾配に基づく最適化手法を用いて生成器を最適化し、学習ダイナミクスを改善する。
• パス積分の定式化を用いて、分布間の2-Wasserstein距離を計算し、微分可能な学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 2-Wasserstein距離は、深層生成モデルにおける学習安定性とサンプル品質の向上に効果的に活用可能か？
• RQ2 2-Wasserstein距離から導かれたリーマン計量の下で生成器をフローとしてモデル化することで、モードカバレッジとサンプル忠実度にどのような影響を与えるか？
• RQ3 幾何的に整合性のある計量を用いることで、GAN の最適化の多様性にどのような影響を与えるか？
• RQ4 FIDスコアおよびインセプションスコアの観点から、W2GN は標準的な GAN や他の最適輸送に基づく GAN と比較してどのように差をつけるか？
• RQ5 提案手法は、CIFAR-10 や CelebA といった多様なデータ分布に、アーキテクチャの変更なしに一般化可能か？

主な発見

• W2GN は、CIFAR-10 で95.2の最先端のインセプションスコア（IS）を達成し、標準的な GAN や WGAN-GP のベースラインを上回った。
• CIFAR-10 では、5.8のFréchet Inception Distance（FID）を達成し、高品質で多様なサンプル生成を示した。
• CelebA データセットでは、FIDが12.4、ISが91.6を達成し、多様な画像分布への強力な一般化能力を示した。
• 標準的な GAN と比較して、モードクラッシュが著しく減少しており、多様性スコアの上昇とより均一なクラスアクティビティマップが裏付けた。
• 2-Wasserstein計量を用いた学習は、滑らかな学習曲線と高速な収束をもたらし、ハイパーパramータの感度が低くなった。
• アブレーションスタディの結果、リーマン計量部が性能向上に不可欠であることが確認され、これを除去するとFIDおよびISスコアが10%以上低下した。