[논문 리뷰] Stochastic Interpolants: A Unifying Framework for Flows and Diffusions

Michael S. Albergo, Nicholas M. Boffi외 1명|arXiv (Cornell University)|2023. 03. 15.

Gaussian Processes and Bayesian Inference인용 수 28

한 줄 요약

확률적 보간자가 두 목표 밀도 사이를 정확히 유한 시간에 연결하여 흐름 기반(flow-based) 및 확산 기반(diffusion-based) 생성 모델을 통합하고, 시간이 의존적인 벡터장과 스코어를 2차 함수 목적함수를 통해 학습 가능하게 한다.

ABSTRACT

A class of generative models that unifies flow-based and diffusion-based methods is introduced. These models extend the framework proposed in Albergo and Vanden-Eijnden (2023), enabling the use of a broad class of continuous-time stochastic processes called stochastic interpolants to bridge any two probability density functions exactly in finite time. These interpolants are built by combining data from the two prescribed densities with an additional latent variable that shapes the bridge in a flexible way. The time-dependent density function of the interpolant is shown to satisfy a transport equation as well as a family of forward and backward Fokker-Planck equations with tunable diffusion coefficient. Upon consideration of the time evolution of an individual sample, this viewpoint leads to both deterministic and stochastic generative models based on probability flow equations or stochastic differential equations with an adjustable level of noise. The drift coefficients entering these models are time-dependent velocity fields characterized as the unique minimizers of simple quadratic objective functions, one of which is a new objective for the score. We show that minimization of these quadratic objectives leads to control of the likelihood for generative models built upon stochastic dynamics, while likelihood control for deterministic dynamics is more stringent. We also construct estimators for the likelihood and the cross entropy of interpolant-based generative models, and we discuss connections with other methods such as score-based diffusion models, stochastic localization, probabilistic denoising, and rectifying flows. In addition, we demonstrate that stochastic interpolants recover the Schrödinger bridge between the two target densities when explicitly optimizing over the interpolant. Finally, algorithmic aspects are discussed and the approach is illustrated on numerical examples.

연구 동기 및 목표

• 확률적 보간자를 사용하여 두 임의의 밀도 rho0와 rho1를 정확히 유한 시간에 연결한다.
• 운송과 포커-플랑크(Fokker-Planck) 방정식을 통해 결정적(ODE) 및 확률적(SDE) 생성 모델을 모두 도출하는 통일 프레임워크를 개발한다.
• 간단한 2차 목적 함수들을 통해 드리프트와 스코어를 학습하는 방법을 제공한다.
• 보간 기반 모델에 대한 가능도(likelihood)와 교차 엔트로피(cross-entropy) 추정이 가능하도록 하며 Schrödinger 브리지와의 연결을 제시한다.]
• method:[

제안 방법

• rho0와 rho1를 연결하는 x_t = I(t,x0,x1) + γ(t) z인 확률적 보간자를 정의한다.
• 시간 의존 밀도 rho(t)가 속도장 b(t,x) = E[∂t I + γ′(t) z | x_t = x]를 갖는 1계 운송 방정식을 만족함을 보인다.
• 조정 가능한 확산 ε(t)을 갖는 앞으로의(F)와 뒤로의(B) 포커-플랑크 방정식을 도출하고 이를 확률 흐름(ODE) 및 SDE 형식과 연결한다.
• 고유한 2차 목적 함수들로 속도장 b와 스코어 s = ∇ log ρ를 특성화한다.
• 덴오르(denoiser) η_z(t,x) = E[z | x_t = x]로 도입하고 이를 스코어와 연결한다.
• 데이터로부터 이 목표들을 추정하고 보간자 기반 모델에 대한 가능도와 교차 엔트로피를 계산하는 절차를 제공한다.

실험 결과

연구 질문

• RQ1 확률적 보간자를 사용하여 두 임의의 밀도를 정확히 유한 시간에 어떻게 연결할 수 있는가?
• RQ2 보간자의 시간 진화 밀도의 지배하는 운송 및 포커-플랑크 방정식은 무엇이며, 이를 데이터로부터 어떻게 학습할 수 있는가?
• RQ3 이 프레임워크 안에서 결정적(ODE) 및 확률적(SDE) 생성 모델을 어떻게 설계하고 가능도를 어떻게 제어하는가?
• RQ4 확률적 보간자와 Schrödinger 브리지의 관계는 무엇이며, 스코어 및 덴오저 개념이 학습 및 샘플링에 어떻게 통합되는가?
• RQ5 보간자 기반 모델에 대한 가능도와 교차 엔트로피의 실용적 추정 방법은 어떻게 구성될 수 있는가?

주요 결과

• 보간자의 법칙은 절대 연속적이며 그 밀도 rho(t)는 tunable diffusion을 갖는 운송 방정식과 앞뒤의 Fokker-Planck 방정식 계열을 풀이한다.
• ODE/SDE 표현의 드리프트 계수는 간단한 2차 목적 함수의 고유 최적해이며, 보간자 밀도에 대한 새로운 스코어 기반 목적 함수도 포함한다.
• 덴오저 η_z(t,x) = E[z | x_t = x]가 존재하며 스코어에 실용적으로 연결되어 스코어 기반 해석을 가능하게 한다.
• 앞방향/뒤방향 Fokker-Planck 형식은 SDE 기반 모델의 가능도 추정을 가능하게 하고 ODE 기반 모델에서 Fisher 발산에 대한 추가 고려를 드러낸다.
• 프레임워크는 interpolant 위에서 최적화될 때 rho0와 rho1 간 Schrödinger 브리지를 회복하여 최적전송 개념과의 연결을 보여준다.
• 스코어 기반 확산모델, 확률적 국소화, 디노이징 접근, 교정된 흐름과의 연계를 확립하고, 실용적인 알고리즘 지침과 수치적 예시를 제공한다.