[论文解读] Continuous-Time Flows for Efficient Inference and Density Estimation

Changyou Chen, Chunyuan Li+4 more|arXiv (Cornell University)|Sep 4, 2017

Generative Adversarial Networks and Image Synthesis被引用 21

一句话总结

本文提出连续时间流（CTFs），一种基于扩散的框架，可在统一架构中实现高效推理与显式密度估计。通过利用对抗学习的近似分布匹配，CTFs 在理论上保证渐近逼近目标分布，其在基准数据集上的 ELBO 和 inception score 表现优于现有方法。

ABSTRACT

Two fundamental problems in unsupervised learning are efficient inference for latent-variable models and robust density estimation based on large amounts of unlabeled data. Algorithms for the two tasks, such as normalizing flows and generative adversarial networks (GANs), are often developed independently. In this paper, we propose the concept of {\em continuous-time flows} (CTFs), a family of diffusion-based methods that are able to asymptotically approach a target distribution. Distinct from normalizing flows and GANs, CTFs can be adopted to achieve the above two goals in one framework, with theoretical guarantees. Our framework includes distilling knowledge from a CTF for efficient inference, and learning an explicit energy-based distribution with CTFs for density estimation. Both tasks rely on a new technique for distribution matching within amortized learning. Experiments on various tasks demonstrate promising performance of the proposed CTF framework, compared to related techniques.

研究动机与目标

• 在单一框架下统一无监督学习中的高效推理与鲁棒密度估计。
• 通过引入连续时间流（CTFs）克服离散时间归一化流的有限近似限制。
• 实现从 CTF 中蒸馏知识到推理网络与生成器的近似学习。
• 为使用 CTF 近似目标分布提供理论保证。
• 在潜在变量推理与数据分布建模方面均实现最先进性能。

提出的方法

• 提出连续时间流（CTFs）作为基于扩散的方法族，其在连续时间域上参数化，支持无限次变换。
• 使用随机微分方程（SDE）建模从简单先验到复杂目标分布的随机变量演化过程。
• 通过对抗学习实现近似分布匹配，将 CTF 中的知识蒸馏到神经网络中，用于推理或生成。
• 将 CTF 框架应用于变分自编码器，实现高效的后验逼近；并应用于类似 GAN 的模型，实现显式能量基密度估计。
• 将能量基模型定义为 $ p_{{m{ heta}}}( extbf{x}) \propto \exp\{-\|\textbf{x} - \text{DEC}_{{m{ heta}}}(\text{ENC}_{{m{ heta}}}(\textbf{x}))\|^{2}\} $，其中编码器与解码器可学习。
• 使用三层 CNN 生成器，激活函数为 ReLU 和 tanh，并在训练过程中动态调整学习率。

实验结果

研究问题

• RQ1 连续时间流在潜在变量推理中是否能提供比离散时间归一化流更优的近似精度？
• RQ2 CTFs 是否可有效用于基于可学习能量基模型的显式密度估计？
• RQ3 从 CTF 中进行近似蒸馏是否能相比标准 VAE 和 GAN 提升推理效率与生成质量？
• RQ4 基于 CTF 的模型是否能在保持理论收敛保证的同时实现具有竞争力的 inception score？
• RQ5 在图像生成任务中，CTF 框架与 DCGAN、WGAN-I 和 SteinGAN 等最先进方法相比性能如何？

主要发现

• MacVAE 搭载 CTF 在 MNIST 上实现约 -85.62 的 ELBO，优于标准 VAE 与归一化流。
• 所提出的 MacGAN 框架在 CIFAR-10 上实现 6.49 的 inception score，优于 SteinGAN（6.35）与 WGAN-I（6.25），并接近 DCGAN（6.58）。
• MacGAN 生成的视觉样本显示高质量图像生成效果，细节清晰且多样性高，尤其在生成器潜在空间中引入随机游走时表现更佳。
• 基于 CTF 的框架在推理（ELBO）与密度估计（inception score）方面均表现强劲，验证了其双重功能能力。
• 实验表明，CTFs 提供理论收敛保证，且近似精度优于有限深度的归一化流。
• 从 CTF 中将知识蒸馏到推理与生成网络，实现了高效、近似化的推理与生成，且架构开销极小。