[论文解读] Convolutional Normalizing Flows

Guo‐qing Zheng, Yiming Yang+1 more|arXiv (Cornell University)|Nov 7, 2017

Generative Adversarial Networks and Image Synthesis参考文献 15被引用 11

一句话总结

本文提出 ConvFlow，一种基于 1D 卷积层的归一化流架构，可高效地将简单先验分布变形为复杂后验分布，实现具有线性时间雅可比行列式计算的可 tractable 密度估计。该方法在 MNIST 和 OMNIGLOT 数据集上进行变分推断与生成建模时达到最先进性能，优于 IAF 和 Real NVP 等现有流模型。

ABSTRACT

Bayesian posterior inference is prevalent in various machine learning problems. Variational inference provides one way to approximate the posterior distribution, however its expressive power is limited and so is the accuracy of resulting approximation. Recently, there has a trend of using neural networks to approximate the variational posterior distribution due to the flexibility of neural network architecture. One way to construct flexible variational distribution is to warp a simple density into a complex by normalizing flows, where the resulting density can be analytically evaluated. However, there is a trade-off between the flexibility of normalizing flow and computation cost for efficient transformation. In this paper, we propose a simple yet effective architecture of normalizing flows, ConvFlow, based on convolution over the dimensions of random input vector. Experiments on synthetic and real world posterior inference problems demonstrate the effectiveness and efficiency of the proposed method.

研究动机与目标

• 解决归一化流在变分推断中表达能力与计算效率之间的权衡问题。
• 开发一种灵活且高效的归一化流架构，同时保持高维分布的快速雅可比行列式计算能力。
• 在不增加计算成本的前提下，实现对潜在变量中长程依赖关系的建模。
• 通过用卷积替代标准归一化流，提升变分自编码器中后验近似的准确性。
• 在合成与真实世界后验推断任务中，验证 ConvFlow 的有效性。

提出的方法

• 提出一种基于 1D 卷积层应用于输入向量维度的归一化流架构，实现高效可逆变换。
• 使用空洞卷积以在输入维度间建模长程交互，同时保持雅可比行列式计算的线性时间复杂度。
• 采用可逆残差块结构（Revert Layer）以确保可逆性，并在所有维度上最大化特征变换。
• 利用变量变换公式计算变换后变量的对数似然，其中雅可比行列式的行列式通过卷积结构实现高效计算。
• 将该流集成到变分自编码器（VAE）和重要性加权自编码器（IWAE）中，用于后验近似与密度估计。
• 利用卷积归纳偏置提升对图像等结构化数据的建模能力，增强特征解耦与生成质量。

实验结果

研究问题

• RQ1 基于卷积的归一化流架构是否能在保持计算效率的同时，实现优于现有归一化流的后验近似？
• RQ2 在归一化流中使用空洞卷积是否能在不增加计算成本的前提下，提升潜在变量中长程依赖关系的建模能力？
• RQ3 在图像数据集上，ConvFlow 与 IAF 和 Real NVP 等现有流模型相比，在对数似然和生成质量方面表现如何？
• RQ4 ConvFlow 是否能提升变分自编码器中潜在码的解耦性与聚类效果？
• RQ5 将 ConvFlow 集成到 VAE 和 IWAE 框架中，是否能在 MNIST 和 OMNIGLOT 等真实世界数据集上实现更优的密度估计？

主要发现

• 在 MNIST 上，ConvFlow 在 K=8 时达到测试集负对数似然 83.89，优于 VAE+IAF（86.62）和 VAE+Real NVP（87.98）。
• 在 OMNIGLOT 上，ConvFlow 在 K=8 时达到负对数似然 103.49，显著优于 VAE+IAF（105.00）和 VAE+Real NVP（106.05）。
• 潜在码可视化显示，VAE+ConvFlow 生成的各类数字聚类更清晰、更可分，表明其具有更好的解耦性。
• ConvFlow 生成的样本在 MNIST 和 OMNIGLOT 上均与真实训练数据在视觉上保持一致，展现出优异的生成质量。
• 空洞卷积的使用有效建模了潜在变量中的长程依赖关系，这在 OMNIGLOT 等复杂数据集上的性能提升中得到验证。
• ConvFlow 在密度估计任务中达到最先进性能，验证了其在极小参数开销下对多变量密度进行有效变形的有效性。