[论文解读] Cubic-Spline Flows

Conor Durkan, Artur Bekasov+2 more|arXiv (Cornell University)|Jun 5, 2019

Advanced Numerical Analysis TechniquesEngineering被引用 20

一句话总结

本文提出立方样条流（cubic-spline flows），一种归一化流架构，其使用单调立方样条作为耦合变换，以实现快速可逆性与高密度估计性能。通过将这些样条与LU分解的线性层堆叠，该模型在密度估计方面达到或超过自回归流的性能，同时保持高效的单次遍历反演，适用于快速采样与似然评估。

ABSTRACT

A normalizing flow models a complex probability density as an invertible transformation of a simple density. The invertibility means that we can evaluate densities and generate samples from a flow. In practice, autoregressive flow-based models are slow to invert, making either density estimation or sample generation slow. Flows based on coupling transforms are fast for both tasks, but have previously performed less well at density estimation than autoregressive flows. We stack a new coupling transform, based on monotonic cubic splines, with LU-decomposed linear layers. The resulting cubic-spline flow retains an exact one-pass inverse, can be used to generate high-quality images, and closes the gap with autoregressive flows on a suite of density-estimation tasks.

研究动机与目标

• 解决归一化流中可逆性速度与密度估计性能之间的权衡问题。
• 开发一种耦合变换，其具备类似Real NVP的快速单次遍历反演能力，同时实现接近自回归流的性能。
• 使用立方样条作为仿射或加法耦合层的即插即用替代品，实现灵活、单调且可计算的密度估计。
• 在不牺牲采样效率的前提下，弥合基于耦合的流与自回归流在密度估计任务中的性能差距。

提出的方法

• 提出一种单调立方样条耦合变换，通过使用具有连续导数的分段立方多项式参数化变换。
• 采用Steffen方法通过基于局部斜率和约束条件计算节点处的导数，以强制实现单调性，确保可逆性。
• 通过立方样条的导数（即分段二次函数）计算雅可比行列式，实现可计算的对数似然计算。
• 将立方样条耦合层与LU分解的线性层结合，以实现跨维度的交互作用，提升模型的表征能力。
• 通过求解三次多项式的解析根实现精确反演，确保无需数值优化即可完成单次遍历反演。
• 使用反向传播端到端训练模型，以在训练数据上最大化对数似然，同时利用可计算的雅可比行列式。

实验结果

研究问题

• RQ1 基于耦合的归一化流是否能在保持快速单次遍历反演的同时，实现与自回归流相当的密度估计性能？
• RQ2 与以往基于样条的变换（如二次样条）相比，单调立方样条在灵活性与表达能力方面表现如何？
• RQ3 立方样条流在标准基准测试中，其密度估计性能在多大程度上达到或超过当前最先进水平？
• RQ4 立方样条流是否仅通过一次前向传播即可生成高质量图像，从而体现其实际生成能力？

主要发现

• 立方样条流在密度估计任务中弥合了与自回归流的性能差距，在多个基准测试中达到最先进水平。
• 该模型保持了精确的单次遍历反演，支持高效采样与似然评估，而自回归流则因反演速度慢而无法实现此优势。
• 使用单调立方样条可实现灵活、连续且单调的变换，能够在节点位置插值任意分位数。
• 该模型仅通过一次神经网络前向传播即可生成高质量图像，展现出强大的生成能力。
• 雅可比行列式通过立方样条的导数高效计算，其导数为分段二次函数。
• 通过求解三次多项式的解析根实现反演，确保了数值稳定性与精确性，避免了迭代优化。