[论文解读] FFJORD: Free-form Continuous Dynamics for Scalable Reversible Generative Models

Will Grathwohl, Ricky T. Q. Chen+3 more|arXiv (Cornell University)|Oct 2, 2018

Generative Adversarial Networks and Image Synthesis参考文献 10被引用 137

一句话总结

FFJORD 引入了一个连续时间可逆生成模型，该模型使用无约束的神经网络和一个无偏的 Hutchinson 跟踪估计器来计算对数似然，从而实现可扩展的密度估计和通过一次采样得到的精确似然。

ABSTRACT

A promising class of generative models maps points from a simple distribution to a complex distribution through an invertible neural network. Likelihood-based training of these models requires restricting their architectures to allow cheap computation of Jacobian determinants. Alternatively, the Jacobian trace can be used if the transformation is specified by an ordinary differential equation. In this paper, we use Hutchinson's trace estimator to give a scalable unbiased estimate of the log-density. The result is a continuous-time invertible generative model with unbiased density estimation and one-pass sampling, while allowing unrestricted neural network architectures. We demonstrate our approach on high-dimensional density estimation, image generation, and variational inference, achieving the state-of-the-art among exact likelihood methods with efficient sampling.

研究动机与目标

• 通过可逆生成模型来推动可扩展的密度估计，避免受限的架构约束。
• 引入一个带有无偏对数密度估计的连续时间正规化流（CNF）框架。
• 通过将雅可比行列式成本降至线性时间估计，实现对高度表达性神经网络的训练。
• 在密度估计和变分推理任务中，展示在精确似然方法中的最先进表现。

提出的方法

• 将数据变换定义为连续时间动力学 z(t)，其中 z(t0) 来自基分布且 z(t1) = x。
• 使用即时变量变换：log p(z(t1)) = log p(z(t0)) - ∫ Tr(∂f/∂z) dt。
• 通过 Hutchinson 的迹估计，在每次求解中使用固定的噪声向量，无偏地计算 Tr(∂f/∂z)。
• 通过伴随方法在微分方程中传播密度，以实现对连续动力学的高效反向传播。
• 利用 GPU 加速的自适应 ODE 求解器，在不受限制的架构下训练和评估模型。
• 通过瓶颈（最低隐藏维度）的方差降低以及对 ODE 求解器选择的实际考量进行讨论。

实验结果

研究问题

• RQ1 在不受限制的神经网络架构下，连续时间可逆生成模型是否能够实现精确对数似然？
• RQ2 Hutchinson 的迹估计是否提供适用于高维数据的无偏、可扩展的对数密度估计？
• RQ3 FFJORD 与现有的正规化流和自回归模型在密度估计与变分推理任务中的比较如何？
• RQ4 在训练 FFJORD 过程中会出现哪些实际权衡（例如函数评估次数、瓶颈效应和求解器选择）？

主要发现

• FFJORD 以线性时间复杂度在维度上实现无偏对数密度估计，从而实现不受限的体系结构。
• 在二维 toy 数据上，FFJORD 能建模多模态和不连续的密度，这对某些先前的流模型来说具有挑战性。
• FFJORD 在表格数据密度估计中达到与精确似然模型中的竞争力或最先进的性能，并在 MNIST/CIFAR10 上与 Glow/Real NVP 相当，但参数更少。
• 在变分自编码器中，基于 FFJORD 的流在多个数据集上优于若干竞争的正规化流。
• 基于求解器的方法可扩展到高维数据，尽管函数评估次数会随着训练和数据复杂性增加而增多。