[论文解读] Monge-Ampère Flow for Generative Modeling

Linfeng Zhang, E Weinan+1 more|arXiv (Cornell University)|Sep 26, 2018

Geometry and complex manifolds参考文献 25被引用 43

一句话总结

Introduce Monge-Ampère flow，一种可逆的、基于流的生成模型，其中潜在到数据的映射遵循可学习势的连续时间梯度流，使得似然性可处理并便于对称性整合；展示对 MNIST 密度估计和变分 Ising 模型计算的应用。

ABSTRACT

We present a deep generative model, named Monge-Ampère flow, which builds on continuous-time gradient flow arising from the Monge-Ampère equation in optimal transport theory. The generative map from the latent space to the data space follows a dynamical system, where a learnable potential function guides a compressible fluid to flow towards the target density distribution. Training of the model amounts to solving an optimal control problem. The Monge-Ampère flow has tractable likelihoods and supports efficient sampling and inference. One can easily impose symmetry constraints in the generative model by designing suitable scalar potential functions. We apply the approach to unsupervised density estimation of the MNIST dataset and variational calculation of the two-dimensional Ising model at the critical point. This approach brings insights and techniques from Monge-Ampère equation, optimal transport, and fluid dynamics into reversible flow-based generative models.

研究动机与目标

• 受到最优传输和 Monge-Ampère 理论启发，提出一个基于流的生成模型。
• 将生成器表述为一个可学习势引导可压缩流体达到目标密度的梯度流。
• 在可处理的似然性与高效采样的同时，便于实现对称性整合。
• 在无监督的 MNIST 密度估计和临界点的 Ising 模型变分计算上展示该方法。

提出的方法

• 用神经网络参数化标量 Brenier 势 φ，并定义流 ẋ = ∇φ(x)。
• 用连续性方程 ∂t p(x,t) + ∇·(p v) = 0 来建模密度演化，其中 v = ∇φ(x)。
• 通过求解一个最优控制问题 minφ I[p(x,T), q(x)]，使用基于 KL 发散的目标进行训练。
• 用固定步长的 RK4 积分器对连续时间流进行离散化，将步长解释为一个深度残差网络。
• 通过沿着流传播 log p(x,t) 的变化并使用自动微分来计算对数似然。
• 通过将势对称群元素取平均来实现对称性：φ(x) = (1/|G|) ∑φ̃(gx)。
• 展示一个轻量实现，使用单隐藏层神经网络表示 φ，并讨论潜在的扩展。

实验结果

研究问题

• RQ1 Monge-Ampère 启发的连续时间流是否能够在可逆生成模型中提供可处理的似然性？
• RQ2 可学习势在引导可压缩流体达到目标分布方面的有效性如何？
• RQ3 与现有基于流的模型相比，该模型在 MNIST 密度估计上的表现如何？
• RQ4 是否可以在标量势中自然地引入对称性约束，以产生具有相等概率的对称相关配置？
• RQ5 在统计物理模型如 Ising 模型的临界性变分计算中，该框架的表现如何？

主要发现

模型	测试 NLL
MA-Flow (Present)	1255.5±2.0
MA-Flow (Baseline comparison)
MADE	1380.8±4.8
Real NVP	1323.2±6.6
MAF	1300.5±1.7

• Monge-Ampère flow 在 MNIST 密度估计上具有竞争力，测试端似然较多基线流模型更低，同时使用的参数约束约为十分之一左右。
• 该框架提供可处理的似然性和一个正向与反向传播成本相当的可逆流。
• 通过对对称群元素求平均来自然整合对称性约束，得到对称性一致的样本。
• 在 Ising 模型应用中，该模型对反向 KL 目标进行最小化，以界定变分自由能，接近临界点的已知精确解。
• 生成的 Ising 配置表现出多样且对称性一致的域，并且模型支持对给定样本进行对数似然评估。