[论文解读] Invertible Generative Modeling using Linear Rational Splines

Hadi M. Dolatabadi, Sarah Erfani+1 more|arXiv (Cornell University)|Jan 15, 2020

Model Reduction and Neural Networks参考文献 37被引用 9

一句话总结

本文提出使用线性有理样条（linear rational splines）替代归一化流（normalizing flows）耦合层中的仿射变换，实现具有解析逆的高效可逆生成建模。该方法在基准数据集上实现了具有竞争力的对数似然性能，同时由于正向与反向计算成本对称，采样速度更快。

ABSTRACT

Normalizing flows attempt to model an arbitrary probability distribution through a set of invertible mappings. These transformations are required to achieve a tractable Jacobian determinant that can be used in high-dimensional scenarios. The first normalizing flow designs used coupling layer mappings built upon affine transformations. The significant advantage of such models is their easy-to-compute inverse. Nevertheless, making use of affine transformations may limit the expressiveness of such models. Recently, invertible piecewise polynomial functions as a replacement for affine transformations have attracted attention. However, these methods require solving a polynomial equation to calculate their inverse. In this paper, we explore using linear rational splines as a replacement for affine transformations used in coupling layers. Besides having a straightforward inverse, inference and generation have similar cost and architecture in this method. Moreover, simulation results demonstrate the competitiveness of this approach's performance compared to existing methods.

研究动机与目标

• 解决归一化流中仿射耦合层的局限性，尽管其具有高效的可逆性，但模型表达能力受限。
• 克服基于多项式样条的计算瓶颈，后者在求逆时需要求解非线性方程。
• 开发一种具有可 tractable（可处理）雅可比行列式和高效正向与反向运算的流模型。
• 实现高维密度估计，提升采样效率，并在真实世界数据集上实现具有竞争力的对数似然性能。

提出的方法

• 用单调的线性有理样条替换耦合层中的仿射变换，其为分子和分母均为线性的分段有理函数。
• 通过构建严格单调的样条确保可逆性，保证在每个分段内存在唯一逆函数。
• 推导线性有理样条的解析逆，避免高阶多项式样条所需的迭代或求根方法。
• 保持正向与反向计算成本相同，实现高效的采样与训练。
• 将样条变换集成到使用交替掩码的归一化流架构中，确保所有维度均被更新。
• 使用神经网络参数化样条，预测条件于输入分割的样条控制点与系数。

实验结果

研究问题

• RQ1 线性有理样条是否能在保持可处理可逆性的同时，提供比仿射耦合层更具表达力的替代方案？
• RQ2 使用线性有理样条是否能实现比需要迭代求逆（如残差流）的方法更快的采样速度？
• RQ3 线性有理样条流在标准基准测试上的对数似然性能与当前最先进归一化流相比如何？
• RQ4 线性有理样条是否能在参数更少、计算开销更低的情况下，实现与现有方法相当的性能？
• RQ5 使用解析逆对流模型训练稳定性与推理效率有何影响？

主要发现

• 所提出的线性有理样条流在 MNIST 上达到测试集 ELBO 为 -82.23 ± 0.46 nats，在 EMNIST 上为 -120.46 ± 0.40 nats，与 Glow 和 RQ-NSF 相当或更优。
• 该方法在 MNIST 上的负对数似然为 79.66 ± 0.42 nats，在 EMNIST 上为 117.74 ± 0.38 nats，优于 IAF/MAF，且与 RQ-NSF 和 Glow 竞争力相当。
• 该模型的采样速度比需要通过定点方法迭代求逆的残差流快一个数量级。
• 线性有理样条的逆可解析计算，且其函数形式与正向传播相同，实现计算成本对称。
• 尽管结构简单，线性有理样条在某些情况下仅使用一半参数，性能仍可与 Glow 和残差流等复杂模型相媲美。
• 该方法在合成数据和真实世界数据上均表现强劲，包括多模态分布任务，如消融研究与样本生成所示。