[논문 리뷰] Analytic Bijections for Smooth and Interpretable Normalizing Flows

Mathis Gerdes, Miranda C. N. Cheng|arXiv (Cornell University)|2026. 01. 15.

Model Reduction and Neural Networks인용 수 0

한 줄 요약

본 논문은 normalizing flows를 위한 해석적이고 전역적으로 매끄럽고 해석적으로 역함수를 가지는 세 가지 계열의 바이어션을 도입하며, 해석 가능한 기하학과 높은 학습 안정성을 갖춘 새로운 radial flow 아키텍처를 포함합니다.

ABSTRACT

A key challenge in designing normalizing flows is finding expressive scalar bijections that remain invertible with tractable Jacobians. Existing approaches face trade-offs: affine transformations are smooth and analytically invertible but lack expressivity; monotonic splines offer local control but are only piecewise smooth and act on bounded domains; residual flows achieve smoothness but need numerical inversion. We introduce three families of analytic bijections -- cubic rational, sinh, and cubic polynomial -- that are globally smooth ($C^\infty$), defined on all of $\mathbb{R}$, and analytically invertible in closed form, combining the favorable properties of all prior approaches. These bijections serve as drop-in replacements in coupling flows, matching or exceeding spline performance. Beyond coupling layers, we develop radial flows: a novel architecture using direct parametrization that transforms the radial coordinate while preserving angular direction. Radial flows exhibit exceptional training stability, produce geometrically interpretable transformations, and on targets with radial structure can achieve comparable quality to coupling flows with $1000 imes$ fewer parameters. We provide comprehensive evaluation on 1D and 2D benchmarks, and demonstrate applicability to higher-dimensional physics problems through experiments on $ϕ^4$ lattice field theory, where our bijections outperform affine baselines and enable problem-specific designs that address mode collapse.

연구 동기 및 목표

• Affine, splines, residuals 등의 기존 normalizing flow 바이어션의 표현력, 매끄러움, 가역성의 한계를 극복한다.
• R 전체에서 전역적으로 정의되고 닫힌 형태로 해석적으로 역행하는 세 가지 해석적 바이어션 계열을 개발한다.
• 해석 가능성과 효율성을 위해 각도 구조를 보존하면서 반지름 좌표를 변환하는 radial flow를 도입한다.
• 1D/2D 벤치마크 및 물리학에서 영감을 받은 고차원 문제에서 성능과 안정성의 향상을 입증한다.

제안 방법

• R에서 전역적으로 매끄럽고(C^^) 해석적으로 닫힌 형태로 역변환이 가능한 세 가지 해석적 바이어션 계열을 제시한다.
• 각도 방향을 보존하면서 반지름 좌표를 변환하는 직접 매개변수화된 radial flow를 개발한다.
• 1D, 2D 및 고차원 작업에서 spline 기반 접근법과 비교하여 coupling flows에 드롭인 대체물로서의 바이어션을 평가한다.
• radial flow의 학습 안정성과 해석 가능성을 입증하고, 반지름 구조를 나타내는 타깃에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 해석적이고 전역적으로 매끄러운 바이어션을 닫힌 형태로 역전적으로 정의하고 실수선 전체에 정의되도록 구성하는 것이 가능한가?
• RQ2 radial flow 아키텍처가 반지름 구조를 가진 타깃에 대해 안정성, 해석 가능성, 파라미터 효율성을 제공하는가?
• RQ3 제안된 바이어션이 1D/2D 벤치마크 및 물리-inspired 문제에서 affine 및 spline 기반 흐름과 비교하여 어떤 성능을 보이는가?

주요 결과

• 전역적으로 매끄럽고(R에 정의되며), 닫힌 형태로 해석적으로 역변환이 가능한 세 가지 해석적 바이어션 계열.
• Radial flows는 뛰어난 학습 안정성과 기하학적으로 해석 가능한 변환을 제공한다.
• Radial flows는 반지름 구조가 있는 타깃에서 최대 1000 개의 파라미터를 가진 coupling flows에 비해 유사한 품질을 달성할 수 있다.
• 1D/2D 벤치마크와 phi^4 격자 장 이론에 대한 실험은 affine 기준선보다 개선되었고 모드 붕괴를 다루기 위한 문제별 설계를 가능하게 한다.
• 새로운 CIFAR-10 및 표형 데이터 결과는 접근 방식의 광범위한 적용 가능성과 해독성을 보여준다.