[논문 리뷰] Fast Sampling for Flows and Diffusions with Lazy and Point Mass Stochastic Interpolants

Gabriel Damsholt, Jes Frellsen외 1명|arXiv (Cornell University)|2026. 02. 03.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

이 논문은 확률적 보간에서 보간 일정과 확산 스케일 간의 정확한 경로별 변환을 도출하고, 점 질량(point-mass) 일정으로 확장하며, 가우시안 데이터에서 게으른(lazy) 일정 계열을 식별하고, 사전 학습된 흐름 모델에서 몇 단계의 샘플링을 더 빠르게 수행함을 보인다.

ABSTRACT

Stochastic interpolants unify flows and diffusions, popular generative modeling frameworks. A primary hyperparameter in these methods is the interpolation schedule that determines how to bridge a standard Gaussian base measure to an arbitrary target measure. We prove how to convert a sample path of a stochastic differential equation (SDE) with arbitrary diffusion coefficient under any schedule into the unique sample path under another arbitrary schedule and diffusion coefficient. We then extend the stochastic interpolant framework to admit a larger class of point mass schedules in which the Gaussian base measure collapses to a point mass measure. Under the assumption of Gaussian data, we identify lazy schedule families that make the drift identically zero and show that with deterministic sampling one gets a variance-preserving schedule commonly used in diffusion models, whereas with statistically optimal SDE sampling one gets our point mass schedule. Finally, to demonstrate the usefulness of our theoretical results on realistic highly non-Gaussian data, we apply our lazy schedule conversion to a state-of-the-art pretrained flow model and show that this allows for generating images in fewer steps without retraining the model.

연구 동기 및 목표

• 확률적 보간자를 흐름과 확산을 위한 통합 프레임워크로 동기를 부여하고 형식화한다.
• 보간 프레임워크를 점 질량 일정과 잘 정의된 SDE를 포함하도록 확장한다.
• 가우시안 데이터에서 드리프트가 0이 되는 게으른(lazy) 일정과 확산에 대해 분산 보전 특성을 보이는 것을 식별한다.
• 사전 학습된 모델의 재매개화를 가능하게 보간 일정과 확산 스케일 사이의 실용적인 변환 공식을 제공한다.
• 최신 흐름 모델에서 샘플링 효율의 실증적 향상을 보여준다.

제안 방법

• Z ~ N(0, I) 및 X ~ ρX 와 보간 일정(α, β)을 갖는 확률적 보간자를 정의한다.
• SDEs dXε_t = bε(t, Xt) dt + sqrt(2εt) dWt 가 어떤 ε≥0에 대해 Law(Xε_t) = Law(It) 를 얻는다고 보인다.
• ηZ, ηX, s, bε 를 아핀 변환과 ε∗ 를 이용해 표현하는 내부 보간 및 외부 보간 변환 공식을 도출한다.
• 보간 일정에 점 질량 경계 조건을 확장하고 SDE의 잘 정의성 및 경로 관계 Xε_t = ct Xε_ut 를 입증한다.
• 가우시안 데이터하에서 드리프트가 0이 되는 게으른 일정 특성을 기술하고 ODE의 분산 보전 특성과 점 질량 SDE 변형을 도출한다.
• 사전 학습된 흐름 모델을 게으른 ODE 및 통계적으로 최적의 SDE 일정으로 재매개화하는 알고리즘을 제공한다.

실험 결과

연구 질문

• RQ1 How can we convert sample paths between arbitrary interpolation schedules and diffusion coefficients in stochastic interpolants?
• RQ2 Can the interpolation framework accommodate point-mass base measures, and under what conditions are the SDEs well-defined?
• RQ3 What are lazy schedules under Gaussian data, and how do they affect drift and variance properties in ODE and SDE settings?
• RQ4 How can we transform pretrained flow/diffusion models to lazy or point-mass schedules to improve sampling efficiency without retraining?
• RQ5 Do lazy conversions yield practical gains in few-step sampling on realistic, non-Gaussian data?

주요 결과

• Any strong SDE solution under one schedule can be uniquely converted to a strong SDE under another schedule and diffusion scale.
• Point-mass schedules extend the interpolant framework with well-defined initial drift and density collapsing to a point mass at t=0.
• Under Gaussian X, lazy schedules yield zero drift for the ODE and lead to variance-preserving or point-mass properties for the SDE depending on the diffusion scale.
• Inter-conversion formulas (ηZ, ηX, s, bε) allow reparameterization between arbitrary schedules using the linear interpolant as anchor.
• Converting a pretrained linear-flow model to a lazy schedule enables faster few-step sampling in ODE and especially in the statistically optimal SDE, demonstrated on a large PRX flow model.