[논문 리뷰] Constructive conditional normalizing flows

Borjan Geshkovski, Domènec Ruiz-Balet|arXiv (Cornell University)|2026. 02. 09.

Model Reduction and Neural Networks인용 수 0

한 줄 요약

본 논문은 조각별 상수 퍼셉트론 속도장을 구동하는 흐름에 의해 유도된 연속방정식의 흐름으로 미분가능한 동형사와 그 pushforward를 근사하는 명시적이고 구성적인 방법을 제시합니다. 두 가지 주요 결과가 있습니다: 일반적인 유한 스위치 구성과 매끄러운 맵에 대한 더 희소한 스위치 확률적 접근법이다.

ABSTRACT

Motivated by applications in conditional sampling, given a probability measure $μ$ and a diffeomorphism $ϕ$, we consider the problem of simultaneously approximating $ϕ$ and the pushforward $ϕ_{\#}μ$ by means of the flow of a continuity equation whose velocity field is a perceptron neural network with piecewise constant weights. We provide an explicit construction based on a polar-like decomposition of the Lagrange interpolant of $ϕ$. The latter involves a compressible component, given by the gradient of a particular convex function, which can be realized exactly, and an incompressible component, which -- after approximating via permutations -- can be implemented through shear flows intrinsic to the continuity equation. For more regular maps $ϕ$ -- such as the Knöthe-Rosenblatt rearrangement -- we provide an alternative, probabilistic construction inspired by the Maurey empirical method, in which the number of discontinuities in the weights doesn't scale inversely with the ambient dimension.

연구 동기 및 목표

• 기저 밀도로부터 전달 맵과 그 pushforward를 근사하고자 하는 조건부 샘플링을 동기화한다.
• 퍼셉트론 기반 속도을 갖는 연속방정식의 시간 T 흐름으로 목표 미분가능한 동형사와 그 pushforward를 실현하는 구성적 체계를 개발한다.
• 맵의 측정 보존 성분과 압축 가능한 성분에 대한 명시적 분해 및 흐름 실현을 제공한다.
• 스위치 복잡성을 줄이기 위한 매끄러운 미분가능한 동형사의 확률적 대안을 제시하고 조건부 샘플링 시나리오에의 적용 가능성을 논의한다.

제안 방법

• 목표 미분가능한 동형사 φ를 오차를 제어하면서 부분적으로 선형인 라그랑주 보간자 φ_epsilon으로 근사한다.
• phi_epsilon를 극좌표 유사 분해로 φ_epsilon = m2_epsilon ∘ grad(varphi_epsilon) ∘ m1_epsilon로 분해한다. 여기서 m1_epsilon와 m2_epsilon는 측정 보존이며 grad(varphi_epsilon)는 압축 가능하고 한 좌표의 맵이다.
• 압축 가능한 인자를 부분적으로 상수 매개변수를 갖는 신경 ODE의 흐름으로 정확히 구현한다.
• 측정 보존 인자들은 임의의 측정 보존 맵을 작은 큐브의 순열로 근사하고, 그 순열을 발산이 없는 스왑 흐름으로 구현함으로써 구현한다.
• L^p 근사가 푸시포워드의 TV 제어로 이어진다는 안정성 추정으로 보이고, 맵 오차와 푸시포워드 측의 오차에 대한 상한을 얻는다.
• Maurey의 경험적 방법에서 영감을 받은 확률적 구성으로 유한한 수의 스위치가 있는 흐름을 근사하고, N에서의 오차 감소율을 얻는다.

실험 결과

연구 질문

• RQ1 임의의 주어진 미분가능한 동형사를 조각별 상수 퍼셉트론 속도를 가진 연속방정식의 시간-T 흐름으로 임의로 잘 근사할 수 있는가?
• RQ2 맵 근사와 푸시포워드 분포의 총변이(distinct TV) 거리를 동시에 어떻게 제어할 수 있는가?
• RQ3 흐름을 통해 측정 보존 및 압축 가능한 성분을 실현하는 데 필요한 스위치 복잡성은 무엇인가?
• RQ4 Knöthe–Rosenblatt 재배열과 같은 매끄러운 맵의 경우, 확률적 구성을 사용해 스위치 수의 스케일링을 더 좋게 달성할 수 있는가?
• RQ5 D^s_0 프레임워크 내에서 삼각형 또는 Knöthe–Rosenblatt 타입 운송이 유한 작용 A_s(phi)를 가지는 조건에서 실현될 수 있는가?

주요 결과

• 정리 1.1은 임의의 C^1-동형사 φ와 적절한 밀도에 대해, 직사각형에서 L^p로 잘 근사되도록 유한개의 스위치를 갖는 부분적으로 상수 제어가 존재하며, 푸시포워드 측도도 총변이에서 근접하다는 것을 보여준다.
• 구조는 phi_epsilon를 두 개의 측정 보존 성분과 압축 가능한 기울기 성분으로 분해하여, 압축 부분에 대해 정확한 흐름 구현을 가능하게 하고 측정 보존 부분에 대해서는 순열 기반 구현을 가능하게 한다.
• 일반 결과의 스위치 수는 큐브 순열에 의한 측정 보존 맵의 최악의 근사로 인해 최악의 경우 1/epsilon^d로 비례적으로 증가한다.
• 정리 1.2는 Maurey의 경험적 방법에 기초한 확률적 구성을 제공하여, 최대 N 스위치로 근사하고 적절한 Sobolev 규칙성 가정(A_s(phi) 유한)하에서 오차가 N^(-1/2)처럼 감소한다.
• 제1.4은 C^s 규칙성을 가지는 Knöthe–Rosenblatt 및 삼각 맵이 D^s_0 클래스에 속하고 유한한 A_s(phi)를 갖는 것을 보여주어 제안된 구성에 적합함을 입증한다.
• 본 논문은 L^p 맵 근사가 일반적으로 푸시포워드의 TV 거리를 작게 만든다는 것을 의미하지 않는다는 점을 분명히 하며, TV 제어에서 압축 가능한 성분의 역할을 강조한다.