[论文解读] FFJORD: Free-form Continuous Dynamics for Scalable Reversible Generative Models

Will Grathwohl, Ricky T. Q. Chen+3 more|arXiv (Cornell University)|Oct 2, 2018

Cellular Automata and Applications被引用 320

一句话总结

FFJORD 引入了一种连续时间、可逆生成模型，使用 Hutchinson 的迹估计实现无偏对数密度估计，从而实现不限架构的神经网络与可扩展的采样。

ABSTRACT

A promising class of generative models maps points from a simple distribution to a complex distribution through an invertible neural network. Likelihood-based training of these models requires restricting their architectures to allow cheap computation of Jacobian determinants. Alternatively, the Jacobian trace can be used if the transformation is specified by an ordinary differential equation. In this paper, we use Hutchinson's trace estimator to give a scalable unbiased estimate of the log-density. The result is a continuous-time invertible generative model with unbiased density estimation and one-pass sampling, while allowing unrestricted neural network architectures. We demonstrate our approach on high-dimensional density estimation, image generation, and variational inference, achieving the state-of-the-art among exact likelihood methods with efficient sampling.

研究动机与目标

• 由在可逆生成模型中需要无约束架构下的精确似然性的需求所驱动。
• 开发一个可扩展的对数密度估计器，适用于无限制的神经网络。
• 利用连续时间动力学替代离散层，从而实现高效的采样和密度评估。
• 在密度估计、图像生成和变分推断上证明其有效性。

提出的方法

• 通过一个基分布变换为连续时间可逆动力学的模型来建模数据 z'(t)=f(z(t),t;θ)。
• 使用瞬时变量变换：log p(z(t1))=log p(z(t0))−∫ Tr(∂f/∂z) dt。
• 用 Hutchinson 的迹估计 unbiased 地估计 Tr(∂f/∂z)：Tr(A)=E[ε^T A ε]。
• 通过增强型微分方程求解，将状态和对数密度联合解出，并使用伴随方法进行反向传播来计算对数似然。
• 实现 O(D) 的迹估计成本并允许无限制架构；使用 GPU 加速的求解器求解常微分方程。

实验结果

研究问题

• RQ1 连续时间可逆动力学是否能够在不限神经网络架构的情况下提供精确的对数似然？
• RQ2 Hutchinson 的迹估计是否能够在数据维度线性时间内实现无偏对数密度估计？
• RQ3 与受限的正则化流相比，FFJORD 在高维密度估计和图像生成方面的表现如何？
• RQ4 与离散流模型相比，使用 FFJORD 时在训练速度、内存和函数评估次数上的权衡是什么？

主要发现

• FFJORD 实现了以 O(D) 成本的无偏对数密度估计，从而实现无限制的架构。
• 在密度估计方面，FFJORD 超越了其他可逆流，并在表格数据上达到或超过某些自回归方法，同时在某些图像任务上使用的参数更少。
• FFJORD 能建模某些离散流模型难以处理的非连通和多峰密度。
• 瓶颈架构在某些迹估计方案下可以降低迹估计方差并加速训练。
• ODE 求解器评估次数并非固定，随着训练而增加，但在很大程度上与数据维度 D 无关。