[論文レビュー] Analytic Bijections for Smooth and Interpretable Normalizing Flows

Mathis Gerdes, Miranda C. N. Cheng|arXiv (Cornell University)|Jan 15, 2026

Model Reduction and Neural Networks被引用数 0

ひとこと要約

要約: 論文は正規化フローのレベルで解析的・全局滑らか・解析的に可逆な双射を3つのファミリとして導入し、解釈可能な幾何学と高い学習安定性を持つ新規の放射状フローアーキテクチャを含む。

ABSTRACT

A key challenge in designing normalizing flows is finding expressive scalar bijections that remain invertible with tractable Jacobians. Existing approaches face trade-offs: affine transformations are smooth and analytically invertible but lack expressivity; monotonic splines offer local control but are only piecewise smooth and act on bounded domains; residual flows achieve smoothness but need numerical inversion. We introduce three families of analytic bijections -- cubic rational, sinh, and cubic polynomial -- that are globally smooth ($C^\infty$), defined on all of $\mathbb{R}$, and analytically invertible in closed form, combining the favorable properties of all prior approaches. These bijections serve as drop-in replacements in coupling flows, matching or exceeding spline performance. Beyond coupling layers, we develop radial flows: a novel architecture using direct parametrization that transforms the radial coordinate while preserving angular direction. Radial flows exhibit exceptional training stability, produce geometrically interpretable transformations, and on targets with radial structure can achieve comparable quality to coupling flows with $1000\times$ fewer parameters. We provide comprehensive evaluation on 1D and 2D benchmarks, and demonstrate applicability to higher-dimensional physics problems through experiments on $ϕ^4$ lattice field theory, where our bijections outperform affine baselines and enable problem-specific designs that address mode collapse.

研究の動機と目的

• 既存の正規化フローの双射（アファイン、スプライン、残差）の表現力、滑らかさ、可逆性の制約を克服する。
• 全体として R 上で定義され、閉形式で解析的に可逆な3つの解析的双射ファミリを開発する。
• 解釈性と効率のため、角の構造を保持しつつ放射座標を変換する放射状フローを導入する。
• 1D/2Dのベンチマークや物理に触発された高次元問題で性能と安定性の改善を示す。

提案手法

• R 上で全域滑らか（C^�e^�）かつ閉形式で解析的に可逆な解析的双射の3ファミリを提案する。
• 角度方向を保持しつつ放射座標を直接変換する放射状フローを開発する。
• 結合フローへのドロップイン置換として双射を評価し、1D、2D、より高次元のタスクでスプラインベースのアプローチと比較する。
• 放射状フローの訓練安定性と解釈性を示し、放射構造を持つターゲットでの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 解析的で全局滑らかな双射を閉形式で可逆に定義し、全実数線上で定義できるか。
• RQ2 放射状フローアーキテクチャは放射状構造を持つターゲットに対して安定性・解釈性・パラメータ効率を提供するか。
• RQ3 提案された双射は1D/2Dのベンチマークや物理インスパイア問題でアファイン・スプラインベースのフローとどのように性能が比較されるか。

主な発見

• 全域滑らかで R 上 defined、閉形式で解析的に可逆な3つの解析的双射ファミリ。
• 放射状フローは卓越した訓練安定性と幾何的に解釈可能な変換を提供。
• 放射状フローは放射的構造を持つターゲットに対して結合フローと同等の品質を、最大1000 個のパラメータ削減で達成可能。
• 1D/2Dのベンチマークと φ^4格子場理論の実験で、アファインベースラインより改善を示し、モード崩壊に対処する問題特化設計を可能にする。
• 新しい CIFAR-10 および表データの結果は、アプローチの広範な適用性と解読性を示す。