[论文解读] Implicit Normalizing Flows

Cheng Lu, Jianfei Chen+3 more|arXiv (Cornell University)|Mar 17, 2021

Generative Adversarial Networks and Image Synthesis参考文献 35被引用 5

一句话总结

本文提出了隐式归一化流（ImpFlows），作为归一化流的一种泛化形式，通过求根方程 $F(\mathbf{z}, \mathbf{x}) = \mathbf{0}$ 隐式定义可逆变换，从而在表达能力上超越残差流（ResFlows）。ImpFlows 在密度建模和分类基准上实现了最先进性能，且参数量和计算成本与 ResFlows 相当，通过精确建模 ResFlows 以非可忽略误差近似的函数，实现了对 ResFlows 的超越。

ABSTRACT

Normalizing flows define a probability distribution by an explicit invertible transformation $\boldsymbol{\mathbf{z}}=f(\boldsymbol{\mathbf{x}})$. In this work, we present implicit normalizing flows (ImpFlows), which generalize normalizing flows by allowing the mapping to be implicitly defined by the roots of an equation $F(\boldsymbol{\mathbf{z}}, \boldsymbol{\mathbf{x}})= \boldsymbol{\mathbf{0}}$. ImpFlows build on residual flows (ResFlows) with a proper balance between expressiveness and tractability. Through theoretical analysis, we show that the function space of ImpFlow is strictly richer than that of ResFlows. Furthermore, for any ResFlow with a fixed number of blocks, there exists some function that ResFlow has a non-negligible approximation error. However, the function is exactly representable by a single-block ImpFlow. We propose a scalable algorithm to train and draw samples from ImpFlows. Empirically, we evaluate ImpFlow on several classification and density modeling tasks, and ImpFlow outperforms ResFlow with a comparable amount of parameters on all the benchmarks.

研究动机与目标

• 为克服显式归一化流（特别是残差流，ResFlows）的表达能力局限，后者受利普希茨连续性约束，无法精确表示某些可逆函数。
• 开发一种可 tractable 的隐式可逆变换框架，同时保持密度估计与采样的计算可行性。
• 证明隐式流可精确表示 ResFlows 以非可忽略误差近似处理的函数，即使仅使用单个模块。
• 设计一种基于隐式微分与求根过程的可扩展训练与推理算法。

提出的方法

• ImpFlows 通过方程 $F(\mathbf{z}, \mathbf{x}) = \mathbf{0}$ 的根隐式定义变换，其中 $\mathbf{z}$ 由给定 $\mathbf{x}$ 的求根过程获得。
• ImpFlow 中每个模块由一个 ResFlow 模块与另一个 ResFlow 模块的逆组合而成，确保可逆性并实现雅可比行列式行列式的可处理估计。
• 利用基于隐函数定理的随机估计器估算雅可比行列式的对数，从而支持可微训练。
• 开发了一种基于迭代求根与隐式微分的可扩展采样与密度评估算法，计算开销与 ResFlows 相当。
• 通过在残差模块上施加谱归一化与利普希茨约束，确保可逆性与数值稳定性。
• 使用 Adam 优化器进行训练，学习率为 $10^{-3}$，并对对数雅可比行列式项采用几何分布或泊松分布对项数进行估计。

实验结果

研究问题

• RQ1 由求根方程定义的隐式可逆映射，是否在归一化流中提供比显式映射更丰富的函数空间？
• RQ2 单模块 ImpFlows 是否能精确表示多模块 ResFlows 仅以非可忽略误差近似的函数？
• RQ3 ImpFlows 是否能在与 ResFlows 相当的模型规模与计算成本下，实现更优的密度建模性能？
• RQ4 隐式流的训练与采样是否具备可扩展性与实用性，且计算开销可控？

主要发现

• ImpFlows 在所有测试基准上均优于 ResFlows，包括图像与表格数据的密度建模任务，且参数量与计算成本相当。
• 在 CIFAR10 数据集上，ImpFlows 实现了 2.88 bits/dim 的测试 NLL，优于 200 层 ResFlow 的 2.92 bits/dim。
• 在 MINIBOONE 数据集上，20 层 ImpFlow 实现了 0.48 bits/dim 的测试 NLL，显著优于因数据稀缺而过拟合的 ResFlow。
• 理论分析表明，单模块 ImpFlows 的函数空间严格优于双模块 ResFlows，且 ImpFlows 可精确表示 ResFlows 存在非可忽略近似误差的函数。
• 实验结果表明，随着深度增加，ImpFlows 与 ResFlows 的性能差距缩小，表明 ImpFlows 以更少模块实现更高容量。