[論文レビュー] Fast Sampling for Flows and Diffusions with Lazy and Point Mass Stochastic Interpolants

Gabriel Damsholt, Jes Frellsen+1 more|arXiv (Cornell University)|Feb 3, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

この論文は、確率的補間子における補間スケジュールと拡散スケールとの間の厳密なパス毎の変換を導出し、点質量スケジュールへ拡張し、ガウスデータ下での lazy スケジュール族を特定し、事前学習済みフロー模型での少数ステップサンプリングを高速化することを示す。

ABSTRACT

Stochastic interpolants unify flows and diffusions, popular generative modeling frameworks. A primary hyperparameter in these methods is the interpolation schedule that determines how to bridge a standard Gaussian base measure to an arbitrary target measure. We prove how to convert a sample path of a stochastic differential equation (SDE) with arbitrary diffusion coefficient under any schedule into the unique sample path under another arbitrary schedule and diffusion coefficient. We then extend the stochastic interpolant framework to admit a larger class of point mass schedules in which the Gaussian base measure collapses to a point mass measure. Under the assumption of Gaussian data, we identify lazy schedule families that make the drift identically zero and show that with deterministic sampling one gets a variance-preserving schedule commonly used in diffusion models, whereas with statistically optimal SDE sampling one gets our point mass schedule. Finally, to demonstrate the usefulness of our theoretical results on realistic highly non-Gaussian data, we apply our lazy schedule conversion to a state-of-the-art pretrained flow model and show that this allows for generating images in fewer steps without retraining the model.

研究の動機と目的

• flows と diffusions の統一フレームワークとして確率的補間子を動機付け・形式化する。
• 点質量スケジュールと良定な SDE を含むように補間フレームワークを拡張する。
• ガウスデータ下でドリフトがゼロとなり、拡散の分散保持特性を持つ lazy スケジュールを同定する。
• 事前学習済みモデルの再パラメータ化を可能にするよう、スケジュールと拡散スケール間の実務的変換公式を提供する。
• 最先端のフローモデルでの少数ステップによるサンプリング効率の実証的向上を示す。

提案手法

• Z ~ N(0, I) および X ~ ρX とスケジュール (α, β) を用いて確率的補間子を定義する。
• SDEs dXε_t = bε(t, Xt) dt + sqrt(2εt) dWt を満たすとき、Law(Xε_t) = Law(It) が ε ≥ 0 に対して成立することを示す。
• ηZ, ηX, s, bε をアフィン変換と ε∗ を用いて表す intra-および inter-interpolant 変換公式を導出する。
• 境界条件として点質量へ拡張し、SDE の良定性とパスごとの関係 Xε_t = ct Xε_ut を証明する。
• ガウスデータ下で drift が消える lazy スケジュールを特徴づけ、ODE の分散保持特性および SDE の点質量型バリアントを得る。
• lazy な ODE および統計的に最適な SDE スケジュールへ事前学習済みフローモデルを再パラメータ化するアルゴリズムを提供する。

実験結果

リサーチクエスチョン

• RQ1 確率的補間子における任意の補間スケジュールと拡散係数との間でサンプルパスをどのように変換できるか。
• RQ2 補間フレームワークは点質量基底測度を取り入れられるか、SDE はどの条件で良定か。
• RQ3 ガウスデータ下の lazy スケジュールとは何か、ODE および SDE のドリフトと分散特性にどのように影響するか。
• RQ4 再訓練せずに pretrained flow/diffusion 模型を lazy または点質量スケジュールへ変換してサンプリング効率を改善できるか。
• RQ5 lazy な変換は現実的な非ガウスデータに対して少数ステップサンプリングで実用的な向上をもたらすか。

主な発見

• 任意のスケジュールの下での強い SDE 解は、別のスケジュールと拡散スケールへ一意に変換できる。
• 点質量スケジュールは初期ドリフトを定義可能なまま補間子フレームワークを拡張し、t=0で点質量へと密度が収束する。
• ガウス X の場合、lazy スケジュールは ODE のドリフトをゼロにし、拡散スケールに応じて SDE の分散保持特性または点質量特性へと繋がる。
• 変換公式（ηZ, ηX, s, bε）は線形補間子をアンカーとして任意のスケジュール間の再パラメータ化を可能にする。
• 事前学習済みの線形フロー模型を lazy スケジュールへ変換することで、ODE でのサンプリングを高速化し、特に統計的に最適な SDE でのサンプリングを改善できることを、巨大な PRX フロー模型で実証した。