[论文解读] From optimal transport to generative modeling: the VEGAN cookbook

Olivier Bousquet, Sylvain Gelly+3 more|arXiv (Cornell University)|May 22, 2017

Advanced Numerical Methods in Computational Mathematics参考文献 10被引用 99

一句话总结

本论文将无监督生成建模重新表述为真实数据分布与潜变量模型之间的最优运输问题，提出 Penalized Optimal Transport (POT) 目标，并将 POT 与 AAEs、VAEs 和 WGANs 联系起来。

ABSTRACT

We study unsupervised generative modeling in terms of the optimal transport (OT) problem between true (but unknown) data distribution $P_X$ and the latent variable model distribution $P_G$. We show that the OT problem can be equivalently written in terms of probabilistic encoders, which are constrained to match the posterior and prior distributions over the latent space. When relaxed, this constrained optimization problem leads to a penalized optimal transport (POT) objective, which can be efficiently minimized using stochastic gradient descent by sampling from $P_X$ and $P_G$. We show that POT for the 2-Wasserstein distance coincides with the objective heuristically employed in adversarial auto-encoders (AAE) (Makhzani et al., 2016), which provides the first theoretical justification for AAEs known to the authors. We also compare POT to other popular techniques like variational auto-encoders (VAE) (Kingma and Welling, 2014). Our theoretical results include (a) a better understanding of the commonly observed blurriness of images generated by VAEs, and (b) establishing duality between Wasserstein GAN (Arjovsky and Bottou, 2017) and POT for the 1-Wasserstein distance.

研究动机与目标

• 提供一个以 OT 为基础的有原则性的无监督生成建模表述。
• 推导 OT 耦合在潜在空间的等效重参数化。
• Relax constraints to obtain the Penalized Optimal Transport (POT) objective.
• 显示 POT、AAEs、VAEs、AVB 以及 GAN 变体之间的联系。
• 讨论对训练稳定性以及生成样本的清晰度/模糊度的影响。

提出的方法

• 通过潜在编码器 Q(Z|X) 和生成器 P_G(Y|Z) 重表达原始 OT 问题 W_c(P_X,P_G)。
• 引入对编码器的受限优化，使聚合后验 Q_Z 与先验 P_Z 匹配。
• 通过惩罚放宽约束以获得 POT 目标：D_POT = inf_Q(Z|X) E_{P_X,X} E_{Q(Z|X)}[c(X,G(Z))] + lambda D_GAN(Q_Z, P_Z).
• 在平方欧氏距离代价和高斯解码器的条件下，POT 与 Adversarial Autoencoders (AAE) 一致。
• 在模糊度方面将 POT 与 VAE/AVB 联系起来，并在使用 1-Wasserstein 成本时与 WGAN 相联系。
• 概述 1-Wasserstein 情况下的原始/对偶等价性并讨论梯度的影响。

实验结果

研究问题

• RQ1 如何将真实数据分布与潜变量模型之间的 OT 成本重新表述为明确的潜在编码器？
• RQ2 通过对编码器放宽 OT 约束并引入惩罚的效果如何？这与现有的生成建模方法有何关系？
• RQ3 惩罚 OT 目标何时与 AAEs 或 VAEs 对齐？这对样本质量和训练稳定性有何影响？
• RQ4 在生成建模中，原始与对偶在 1-Wasserstein 与 2-Wasserstein 成本下的行为如何？

主要发现

• OT 问题可以等价地用受约束以匹配后验分布和先验分布的概率编码器来表达。
• 放宽这些约束得到的 POT 目标可以通过从 P_X 和 P_G 抽样，用 SGD 最小化。
• 在平方欧氏距离下，POT 与 Adversarial Auto-Encoders (AAE) 的目标一致，为 AAEs 作为近似最小化 W_2(P_X,P_G) 提供理论依据。
• POT 与 WGAN 在 1-Wasserstein 设置的欧几里得成本下保持一致，对偶/原始视角提供了不同的训练动态。
• VAEs 和 AVB 最小化边缘对数似然并且往往产生模糊的输出，而 POT/AAE 在某些条件下可以避免这种模糊。
• 当解码器是高斯时，AAE 对应于优化 POT 目标，其中 lambda 与解码器方差相关。