[論文レビュー] From optimal transport to generative modeling: the VEGAN cookbook

Olivier Bousquet, Sylvain Gelly+3 more|arXiv (Cornell University)|May 22, 2017

Advanced Numerical Methods in Computational Mathematics参考文献 10被引用数 99

ひとこと要約

本論文は教師なし生成モデルの定式化を、真のデータ分布と潜在変数モデルとの最適輸送問題として再定式化し、Penalized Optimal Transport (POT) 目的を導入し、POT を AAEs、VAEs、WGANs に結びつける。

ABSTRACT

We study unsupervised generative modeling in terms of the optimal transport (OT) problem between true (but unknown) data distribution $P_X$ and the latent variable model distribution $P_G$. We show that the OT problem can be equivalently written in terms of probabilistic encoders, which are constrained to match the posterior and prior distributions over the latent space. When relaxed, this constrained optimization problem leads to a penalized optimal transport (POT) objective, which can be efficiently minimized using stochastic gradient descent by sampling from $P_X$ and $P_G$. We show that POT for the 2-Wasserstein distance coincides with the objective heuristically employed in adversarial auto-encoders (AAE) (Makhzani et al., 2016), which provides the first theoretical justification for AAEs known to the authors. We also compare POT to other popular techniques like variational auto-encoders (VAE) (Kingma and Welling, 2014). Our theoretical results include (a) a better understanding of the commonly observed blurriness of images generated by VAEs, and (b) establishing duality between Wasserstein GAN (Arjovsky and Bottou, 2017) and POT for the 1-Wasserstein distance.

研究の動機と目的

• 提供する原理的 OT ベースの教師なし生成モデリングの定式化。
• OT結合の等価な潜在空間再パラメータ化を導出する。
• 制約を緩和して Penalized Optimal Transport (POT) 目的を得る。
• POT、AAEs、VAEs、AVB、GAN の派生との関係を示す。
• 学習の安定性および生成サンプルの出力のシャープさ/ぼかしへの影響を論じる。

提案手法

• 潜在エンコーダ Q(Z|X) とジェネレーター P_G(Y|Z) により primal OT 問題 W_c(P_X,P_G) を再表現する。
• 集約後方分布 Q_Z を事前分布 P_Z に合わせるエンコーダ上の制約付き最適化を導入する。
• 制約をペナルティで緩和して POT 目的を得る：D_POT = inf_Q(Z|X) E_{P_X,X} E_{Q(Z|X)}[c(X,G(Z))] + lambda D_GAN(Q_Z, P_Z)。
• 二乗ユークリッド距離とガウスデコーダの場合、POT は Adversarial Autoencoders (AAE) と一致する。
• POT を VAE/AVB のぼやけ感と関連づけ、1-Wasserstein コストを使用する場合には WGAN との関連を説明する。
• 1-Wasserstein ケースにおける primal/dual 等価性を概説し、勾配への影響を論じる。

実験結果

リサーチクエスチョン

• RQ1 真のデータ分布と潜在変数モデルとの間の OT コストを、明示的な潜在エンコーダへ再編成するにはどうすればよいか。
• RQ2 エンコーダに対するペナルティによる OT 制約の緩和の効果は何か、そしてこれが既存の生成モデル手法とどのように関連するか。
• RQ3 ペナルIZED OT 目的がAAEsまたはVAEsと一致するのはいつで、サンプル品質とトレーニングの安定性にどのような影響があるか。
• RQ4 生成モデリングにおける1-Wassersteinおよび2-Wassersteinコスト下で、 primal と dual の定式化はどう振る舞うか。

主な発見

• OT 問題は、事後分布と事前分布を一致させるよう制約された確率的エンコーダの観点で等価に書き直すことができる。
• これらの制約を緩和すると、P_X および P_G からサンプリングして SGD で最小化できる POT 目的が得られる。
• 二乗ユークリッド距離では、POT は Adversarial Auto-Encoders (AAE) の目的と一致し、AAE が概ね W_2(P_X,P_G) を最小化することの理論的正当性を提供する。
• POT と WGAN は 1-Wasserstein の設定でユークリッドコストの下で整合し、双対/ primal の観点が異なる学習ダイナミクスを提供する。
• VAEs と AVB は周辺対数尤度を最小化し、ぼやけた出力を生じやすいが、POT/AAE は特定の条件下でこのぼやけを回避できる。
• デコーダが Gaussian の場合、AAE はデコーダ分散に結びついた λ で POT 目的を最適化することに相当する。