[論文レビュー] Optimal transport maps for distribution preserving operations on latent spaces of Generative Models

Eirikur Agustsson, Alexander Sage+2 more|arXiv (Cornell University)|Nov 6, 2017

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 10

ひとこと要約

本稿では、VAE や GAN のような生成モデルの潜在空間操作における分布不一致を是正するため、最適輸送マップを提案する。標準的な操作（例：補間、近傍サンプリング）を最小限に変更することで事前分布を維持する手法であり、サンプルの品質が著しく向上し、Inception スコアは元のモデルと同等となり、標準的な線形補間よりも最大29%優れる。

ABSTRACT

Generative models such as Variational Auto Encoders (VAEs) and Generative Adversarial Networks (GANs) are typically trained for a fixed prior distribution in the latent space, such as uniform or Gaussian. After a trained model is obtained, one can sample the Generator in various forms for exploration and understanding, such as interpolating between two samples, sampling in the vicinity of a sample or exploring differences between a pair of samples applied to a third sample. In this paper, we show that the latent space operations used in the literature so far induce a distribution mismatch between the resulting outputs and the prior distribution the model was trained on. To address this, we propose to use distribution matching transport maps to ensure that such latent space operations preserve the prior distribution, while minimally modifying the original operation. Our experimental results validate that the proposed operations give higher quality samples compared to the original operations.

研究の動機と目的

• 訓練済みの生成モデルにおける標準的な潜在空間操作が引き起こす分布不一致を特定・是正すること。
• 線形補間やベクトル演算といった一般的な操作が、均一事前分布であっても事前分布を歪めることを示すこと。
• 元の操作の軌道を最小限に変更しながらも事前分布を保つ原理的で整合性のある手法を開発すること。
• 分布を保つ操作が、標準的手法に比べてより高品質なサンプルを生成することを検証すること。
• 最適輸送理論を用いて、補間や近傍サンプリングなどの一致操作について解析的解を導出すること。

提案手法

• 出力分布が事前分布と一致するように、元の操作を最小限に歪める（$L_1$ 距離で）最適輸送マップを計算する。
• 分布的同等性を強制する凸最適化問題として、一致補間を定式化する。
• 線形補間、球面補間（SLERP）、近傍サンプリングなどの標準的かつ変換された操作に、分布を保つバージョンを適用する。
• ガウス事前分布および一様事前分布の下で、一致補間および近傍サンプリングの解析的表現を導出する。
• 任意の事前分布に対して、数値最適化を用いて輸送マップを計算する実装を行う。
• 再訓練を伴わず、既存の生成モデル（例：DCGAN、iWGAN）に一致操作を統合する。

実験結果

リサーチクエスチョン

• RQ1 線形補間のような標準的な潜在空間操作は、訓練時に使用された事前分布に対して分布不一致を引き起こすか？
• RQ2 最適輸送を用いて、この分布不一致を是正しつつ、元の操作の意味的意図を保てるか？
• RQ3 標準的手法と比較して、本稿で提案する分布を保つ代替手法の生成サンプル品質はどの程度か？
• RQ4 分布を保つ操作は、Inception スコアなどの定量的指標をどの程度向上させるか？
• RQ5 本手法は、補間、近傍サンプリング、ランダムウォークなどのさまざまな操作および事前分布に一般化可能か？

主な発見

• 標準的な線形補間は、均一事前分布であっても顕著な分布不一致を引き起こし、結果として品質の低いサンプルが生成される。
• 提案された一致補間は、事前分布を正確に保持し、Inception スコアは元のモデルと統計的に差がない（CIFAR-10 では 7.89 ± 0.08 vs. 7.90 ± 0.11）。
• CelebA では線形補間が Inception スコアを最大29%まで低下させ、1.46 ± 0.01 vs. 2.05 ± 0.04 となり、品質の著しい低下が示された。
• 球面補間（SLERP）は Inception スコアの面で提案手法と同等の性能を示したが、本手法は原理的かつ分布を保つ解決策を提供する。
• 一致しない近傍サンプリングを繰り返し適用すると、サンプル品質が急速に劣化し、数ステップで認識不能な出力が得られるようになる—分布不一致の累積的影響を示している。
• 一致近傍サンプリングにより、潜在空間における安定なランダムウォークが可能となり、複数ステップにわたりサンプル品質を維持できるのに対し、非一致バージョンではそのような安定性が欠ける。