[論文レビュー] Wasserstein-Wasserstein Auto-Encoders

Shunkang Zhang, Yuan Gao+4 more|arXiv (Cornell University)|Feb 25, 2019

Generative Adversarial Networks and Image Synthesis参考文献 31被引用数 5

ひとこと要約

本稿では、実データ分布と生成分布の間のペナルティ付き最適輸送を、ガウス事前分布と集約事後分布の間の閉形式の二乗 Wasserstein-2 距離を用いて最小化する、Wasserstein-Wasserstein自己オートエンコーダー（WWAE）を提案する。WWAE は、VAE や WAE よりもシャープな画像生成とより良い潜在空間構造を達成し、MNIST、Fashion-MNIST、CelebA で最先端の FID スコアを達成するが、訓練の不安定性やぼんやりとした画像生成を回避する。

ABSTRACT

To address the challenges in learning deep generative models (e.g.,the blurriness of variational auto-encoder and the instability of training generative adversarial networks, we propose a novel deep generative model, named Wasserstein-Wasserstein auto-encoders (WWAE). We formulate WWAE as minimization of the penalized optimal transport between the target distribution and the generated distribution. By noticing that both the prior $P_Z$ and the aggregated posterior $Q_Z$ of the latent code Z can be well captured by Gaussians, the proposed WWAE utilizes the closed-form of the squared Wasserstein-2 distance for two Gaussians in the optimization process. As a result, WWAE does not suffer from the sampling burden and it is computationally efficient by leveraging the reparameterization trick. Numerical results evaluated on multiple benchmark datasets including MNIST, fashion- MNIST and CelebA show that WWAE learns better latent structures than VAEs and generates samples of better visual quality and higher FID scores than VAEs and GANs.

研究の動機と目的

• 変分自己オートエンコーダー（VAE）におけるぼんやりとした画像生成と、生成対立ネットワーク（GAN）における訓練の不安定性を解消すること。
• 最適輸送理論を活用して、深層生成モデルにおける潜在空間構造とサンプル品質を向上させること。
• WAE-MMD などの既存の最適輸送に基づくオートエンコーダーにおけるサンプリングの負担と計算非効率性を排除すること。
• VAE の安定性と GAN の知覚的品質を組み合わせた計算効率の良いモデルを開発すること。
• 複数のベンチマークデータセットで、画像生成品質と FID スコアの分野で最先端の性能を達成すること。

提案手法

• 生成モデルを、実データ分布と生成分布の間のペナルティ付き最適輸送を最小化する形で定式化する。
• 2つのガウス分布間の閉形式の二乗 Wasserstein-2 距離を用いて、潜在変数の集約事後分布を標準ガウス事前分布に正則化する。
• 再パラメトリゼーショントリックを活用して、効率的なバックプロパゲーションを可能にし、最適化中にサンプリングを回避する。
• 深層ニューラルネットワークによる生成器 $G_{\theta}$ を用いて、潜在変数 $Z \sim P_Z$ をデータ空間にマッピングし、生成分布と実データ分布の間の Wasserstein-2 距離を最小化する目的を設定する。
• 潜在空間（事前分布と事後分布の一致）とデータ空間（実分布と生成分布の一致）の両方に正則化を導入する二重正則化を採用する。
• GAN のディスクライマー訓練を回避するため、Wasserstein-2 距離の解析的表現を用いて、確率的勾配降下法で目的関数を最適化する。

実験結果

リサーチクエスチョン

• RQ1 閉形式の Wasserstein-2 距離を用いた最適輸送に基づく正則化は、オートエンコーダーにおける潜在空間の分離性とサンプル品質を向上させるか？
• RQ2 WAE における MMD ベースの正則化を Wasserstein-2 距離に置き換えることで、VAE よりも優れたサンプルのシャープネスとぼんやり具合の低減が達成できるか？
• RQ3 提案された WWAE モデルは、GAN に一般的に見られるモード崩壊や不安定性の問題を回避し、安定した訓練が可能か？
• RQ4 MNIST、Fashion-MNIST、CelebA といった多様なデータセットにおいて、WWAE の FID スコアは VAE、WAE-MMD、DCGAN と比べてどの程度か？
• RQ5 閉形式の Wasserstein-2 距離の使用により、最適輸送正則化におけるサンプリングの必要性が排除され、計算効率が向上するか？

主な発見

• WWAE は、すべての3つのベンチマークデータセットで VAE や WAE-MMD よりも低い FID スコアを達成した：MNIST で 45、Fashion-MNIST で 51、CelebA で 55。
• CelebA データセットでは、FID スコアが WAE-MMD と同等（55）であったが、VAE や WAE-MMD よりも視覚的にシャープなサンプルを生成した。
• VAE よりもぼんやりとした画像を生成しなかったことが、質的比較により確認され、アーチファクトが少なく、明瞭な数字の構造が得られた。
• WWAE が学習した潜在空間は、クラス間の滑らかな補間（例：数字 0 と 6 の間）を示しており、より優れた分離性と連続性を示している。
• 特に長時間の訓練においても、DCGAN で観察されるような訓練の不安定性やモード崩壊を回避した。
• 生成サンプルにおける歪みやアーチファクトが少なく、DCGAN や VAE、WAE-MMD よりも優れた視覚的品質を示した。