[论文解读] Deep Diffeomorphic Normalizing Flows

Hadi Salman, Payman Yadollahpour+2 more|arXiv (Cornell University)|Oct 8, 2018

Model Reduction and Neural Networks参考文献 8被引用 11

一句话总结

本文提出深度微分同胚归一化流（DDNF），一种新颖的归一化流架构，通过受流体动力学启发的微分同胚循环神经网络建模后验近似。通过使用残差RNN模块近似连续微分同胚变换，DDNF实现了灵活、可逆且可微的后验推断，在MNIST和CIFAR-10上取得了优于基线VAE、平面流和IAF的对数似然性能。

ABSTRACT

The Normalizing Flow (NF) models a general probability density by estimating an invertible transformation applied on samples drawn from a known distribution. We introduce a new type of NF, called Deep Diffeomorphic Normalizing Flow (DDNF). A diffeomorphic flow is an invertible function where both the function and its inverse are smooth. We construct the flow using an ordinary differential equation (ODE) governed by a time-varying smooth vector field. We use a neural network to parametrize the smooth vector field and a recursive neural network (RNN) for approximating the solution of the ODE. Each cell in the RNN is a residual network implementing one Euler integration step. The architecture of our flow enables efficient likelihood evaluation, straightforward flow inversion, and results in highly flexible density estimation. An end-to-end trained DDNF achieves competitive results with state-of-the-art methods on a suite of density estimation and variational inference tasks. Finally, our method brings concepts from Riemannian geometry that, we believe, can open a new research direction for neural density estimation.

研究动机与目标

• 通过用更灵活的基于流的分布替代简单的结构化后验，改进变分推断中的后验近似。
• 通过建模受粘性流体运动启发的连续平滑形变，解决现有归一化流（如平面流和IAF流）的局限性。
• 开发一种保持可逆性并支持高效雅可比行列式计算的流架构，以实现可扩展的后验估计。
• 证明基于RNN的微分同胚流可实现比现有方法更紧的变分下界和更优的似然估计。

提出的方法

• 该方法将后验建模为标准正态先验的微分同胚变换，利用残差RNN架构近似连续时间流。
• 每个流步骤通过速度场定义为一次微小的微分同胚形变，整体变换由这些小步骤的复合构成。
• 利用泰勒展开将雅可比行列式的对数行列式近似为多个小形变对数行列式的和，实现高效计算。
• 在VAE框架中端到端训练该流，其中解码器负责重建输入数据，基于流的编码器则学习复杂的后验结构。
• 通过正则化鼓励逆向一致性，以提升数值稳定性并确保精确可逆性。
• 模型通过堆叠多个平稳速度场构建非平稳速度场，实现更丰富的变换动力学。

实验结果

研究问题

• RQ1 基于RNN的架构能否有效近似连续微分同胚流，以实现变分推断中后验近似的改进？
• RQ2 RNN模块的数量如何影响ODE近似的精度及最终的似然性能？
• RQ3 基于流体动力学运动的微分同胚流是否能比平面流或IAF流更好地捕捉复杂的后验结构？
• RQ4 逆向一致性正则化在多大程度上提升了学习流的稳定性和质量？
• RQ5 与现有归一化流基线相比，所提方法是否在MNIST和CIFAR-10等标准基准上实现了更优的似然性能？

主要发现

• 所提出的深度微分同胚归一化流在MNIST和CIFAR-10上的负对数似然显著低于基线VAE、平面归一化流和IAF。
• 增加RNN模块数量可降低ODE近似中的L2误差，八个模块达到性能稳定的拐点。
• 随着RNN模块数量增加，反演误差下降，证实更小的积分步长可提升数值精度和流的可逆性。
• 该模型展现出更强的后验灵活性，能够实现更紧的变分下界和更优的生成性能。
• 使用逆向一致性正则化可带来更稳定、更精确的流反演，从而增强训练稳定性。
• 该架构成功建模了复杂的后验分布，其在基准数据集上更优的似然得分已得到验证。