[论文解读] Analytic Bijections for Smooth and Interpretable Normalizing Flows

Mathis Gerdes, Miranda C. N. Cheng|arXiv (Cornell University)|Jan 15, 2026

Model Reduction and Neural Networks被引用 0

一句话总结

本文引入三类解析、全局光滑且解析可逆的双射，用于正则化流，其中包括具有可解释几何形态和高训练稳定性的新型径向流架构。

ABSTRACT

A key challenge in designing normalizing flows is finding expressive scalar bijections that remain invertible with tractable Jacobians. Existing approaches face trade-offs: affine transformations are smooth and analytically invertible but lack expressivity; monotonic splines offer local control but are only piecewise smooth and act on bounded domains; residual flows achieve smoothness but need numerical inversion. We introduce three families of analytic bijections -- cubic rational, sinh, and cubic polynomial -- that are globally smooth ($C^\infty$), defined on all of $\mathbb{R}$, and analytically invertible in closed form, combining the favorable properties of all prior approaches. These bijections serve as drop-in replacements in coupling flows, matching or exceeding spline performance. Beyond coupling layers, we develop radial flows: a novel architecture using direct parametrization that transforms the radial coordinate while preserving angular direction. Radial flows exhibit exceptional training stability, produce geometrically interpretable transformations, and on targets with radial structure can achieve comparable quality to coupling flows with $1000 imes$ fewer parameters. We provide comprehensive evaluation on 1D and 2D benchmarks, and demonstrate applicability to higher-dimensional physics problems through experiments on $ϕ^4$ lattice field theory, where our bijections outperform affine baselines and enable problem-specific designs that address mode collapse.

研究动机与目标

• 解决现有的正则化流双射在表达能力、光滑性和可逆性方面的局限性（仿射、样条、残差）。
• 开发三种解析双射家族，在实数域R上全局定义且闭式可逆。
• 引入径向流，在保持角度结构的同时变换径向坐标，以实现可解释性与效率。
• 在一维/二维基准和受物理启发的高维问题上展示改进的性能与稳定性。

提出的方法

• 提出三类在实数域R上全局光滑（C^^）且闭式可逆的解析双射家族。
• 开发具有直接参数化的径向流，在保持角向方向的同时变换径向坐标。
• 在耦合流中将双射作为直接替换进行评估，并在一维、二维及高维任务中与基于样条的方法进行比较。
• 展示径向流的训练稳定性与可解释性，并在表现出径向结构的目标上体现性能。

实验结果

研究问题

• RQ1 是否能够构造解析、全局光滑且在闭式形式下可解析逆的双射，并在整个实数线上定义？
• RQ2 径向流架构是否在径向结构目标上提供稳定性、可解释性和参数效率？
• RQ3 相较于仿射和基于样条的流，所提双射在一维/二维基准和受物理启发的问题上有何表现？

主要发现

• 三类解析双射，全球光滑、在R上定义且闭式可逆。
• 径向流提供卓越的训练稳定性和几何上可解释的变换。
• 径向流在径向结构目标上可实现与耦合流相当的质量，且参数数量比耦合流少多达1000 个。
• 在一维/二维基准和phi^4晶格场理论上的实验显示相对于仿射基线的改进，并且能够进行针对性设计以应对模态崩溃。
• 新的CIFAR-10及表格数据结果展示了该方法的广泛适用性与可读性。