[论文解读] VFlow: More Expressive Generative Flows with Variational Data Augmentation

Jianfei Chen, Cheng Lu+3 more|arXiv (Cornell University)|Feb 22, 2020

Generative Adversarial Networks and Image Synthesis参考文献 35被引用 14

一句话总结

VFlow 通过引入通过辅助隐变量实现的变分数据增强，增强了生成流模型，实现了更丰富的建模能力，同时计算开销几乎不变。它在图像密度建模任务中达到最先进性能，在 CIFAR-10 上将比特每维度（bpd）降低至 2.98，优于现有的流模型如 Glow 和 Flow++。

ABSTRACT

Generative flows are promising tractable models for density modeling that define probabilistic distributions with invertible transformations. However, tractability imposes architectural constraints on generative flows, making them less expressive than other types of generative models. In this work, we study a previously overlooked constraint that all the intermediate representations must have the same dimensionality with the original data due to invertibility, limiting the width of the network. We tackle this constraint by augmenting the data with some extra dimensions and jointly learning a generative flow for augmented data as well as the distribution of augmented dimensions under a variational inference framework. Our approach, VFlow, is a generalization of generative flows and therefore always performs better. Combining with existing generative flows, VFlow achieves a new state-of-the-art 2.98 bits per dimension on the CIFAR-10 dataset and is more compact than previous models to reach similar modeling quality.

研究动机与目标

• 为解决生成流中的瓶颈问题，即深层可逆变换难以建模复杂数据分布。
• 通过引入隐变量增强归一化流的表达能力，实现更强的建模容量。
• 在保持似然估计可 tractable 的前提下，将变分数据增强集成到流框架中。
• 提供理论保证，证明在最大似然估计下，VFlow 的似然性能优于普通流模型。
• 在 CIFAR-10 等基准数据集上，通过实证结果展示其在密度建模方面的优越性。

提出的方法

• 提出一种条件归一化流，联合建模输入数据 𝐱 和辅助隐变量 𝐳，形成联合密度 p(𝐱, 𝐳; θ_XZ)。
• 使用变分后验 q(𝐳|𝐱; ϕ) 近似真实后验，通过另一条件流实现以保证可计算性。
• 采用证据下界（ELBO）作为目标函数：E[log p(𝐱,𝐳;θ_XZ) − log q(𝐳|𝐱;ϕ)]，支持端到端训练。
• 保持可逆流模块（如仿射耦合层）以保证雅可比行列式可计算，实现精确似然估计。
• 将联合流构建为一系列可逆变换：(𝐱, 𝐳) → 𝐡₁ → … → 𝐞，其中最终隐变量 𝐞 服从简单先验分布。
• 通过在联合与变分组件之间共享流架构，仅引入极少的额外参数与计算开销。

实验结果

研究问题

• RQ1 引入辅助隐变量是否能在不增加计算成本的前提下提升归一化流的表达能力？
• RQ2 所提出的变分数据增强框架是否能获得优于标准归一化流的似然估计性能？
• RQ3 与 Glow 和 FFJORD 等现有流模型相比，VFlow 是否能在图像密度建模中实现最先进性能？
• RQ4 VFlow 相较于普通流模型的理论优势是否在不同架构与深度设置下均能在实践中保持？
• RQ5 对数据与隐变量的联合建模如何影响模型捕捉复杂数据分布的能力？

主要发现

• 在 CIFAR-10 上，VFlow 实现了 2.98 的比特每维度（bpd），优于 Glow（3.35）、FFJORD（3.40）和 Flow++（3.08）。
• 仅使用 11.9M 参数和 10 个流步骤，VFlow 即实现 3.08 bpd，展现出出色的效率与性能。
• 理论分析证明，VFlow 的最大 ELBO 值始终大于或等于任意普通流模型的最大似然值。
• 即使在模型容量降低的情况下，VFlow 仍保持强性能，使用仅 16.5M 参数和 64 个隐藏通道时，实现 3.03 bpd。
• 该方法与现有流架构兼容，可无缝集成至 Flow++ 和 Glow 等模型中。
• 在合成数据上的实证结果表明，VFlow 比标准流更好地捕捉了复杂、多模态的数据分布。