[論文レビュー] Training-Free Generative Modeling via Kernelized Stochastic Interpolants

Florentin Coeurdoux, Etienne Lempereur+5 more|arXiv (Cornell University)|Feb 23, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

論文は訓練不要の生成モデルフレームワークを導入し、カーネル化された確率的補間を用いる。ニューラルネットワークの訓練を、有限次元の特徴マップを用いてドリフトを表すデータ依存の線形システムを解くことに置換し、サンプル品質を向上させる最適な拡散スケジュールを採用する。

ABSTRACT

We develop a kernel method for generative modeling within the stochastic interpolant framework, replacing neural network training with linear systems. The drift of the generative SDE is $\hat b_t(x) = \nablaϕ(x)^\topη_t$, where $η_t\in\R^P$ solves a $P\times P$ system computable from data, with $P$ independent of the data dimension $d$. Since estimates are inexact, the diffusion coefficient $D_t$ affects sample quality; the optimal $D_t^*$ from Girsanov diverges at $t=0$, but this poses no difficulty and we develop an integrator that handles it seamlessly. The framework accommodates diverse feature maps -- scattering transforms, pretrained generative models etc. -- enabling training-free generation and model combination. We demonstrate the approach on financial time series, turbulence, and image generation.

研究の動機と目的

• ニューラルネットワークのドリフト学習をカーネルベースの線形系アプローチに置換する。
• データからドリフト係数を事前計算して訓練不要な生成を可能にする。
• 様々な特徴マップ（散乱変換、事前学習モデル）を取り入れた柔軟な生成モデリングを実現する。
• 生成誤差を境界付けし、エンドポイント挙動を滑らかに扱う最適な拡散スケジュールを活用する。
• 時系列、物理場、画像生成への適用性を示す。

提案手法

• ドリフトを近似する特徴マップφ: R^d -> R^P を定義し b_hat_t(x) = grad(φ)(x)^T η_t とする。
• P×Pのグラム系 K_t η_t = E[grad(φ(I_t)) · dot{I_t}] を用い η_t を推定する（命題2.1）。
• 生成前に時間グリッド上で η_t を事前計算し、複数サンプルで再利用する（アルゴリズム1）。
• パスKL発散を最小化するために最適拡散係数 D_t^* = α_t γ_t / β_t を採用する（命題2.2）。
• D_0^*=∞ および D_1^*=0 を扱える積分器を導出し、安定した生成を実現する（節2.4）。
• 散乱変換や事前学習済み速度場を含む柔軟な特徴マップを許容し、訓練不要なモデル結合を可能にする（節2.5）。

Figure 1: Generation from a single S&P 500 daily log-returns realization ( $d=6{,}064$ ) using scattering features ( $P=217$ ). Top : Original (blue) and generated sample (orange), both showing volatility clustering. Bottom left : Log-return densities, with near-perfect agreement including heavy tai

実験結果

リサーチクエスチョン

• RQ1 確率的補間におけるドリフトは、ニューラルネットワーク訓練を行わず、有限次元のカーネル表現で正確に近似できるか。
• RQ2 最適拡散スケジュール D_t^* は、ドリフト推定誤差の下で生成品質にどのような影響を与えるか。
• RQ3 多様な特徴マップ（例：散乱変換、事前学習モデル）は訓練不要な生成とモデル結合を可能にするか。
• RQ4 現実データモダリティ（時系列、乱流様の物理場、画像）に対するカーネル化された確率的補間の実用的能力はどの程度か。

主な発見

• ドリフト推定は P×P の線形系を解くことに帰着し、P はデータ次元と独立である（命題2.1）。
• 最適拡散 D_t^* を用いると生成誤差はパスKL発散で上界化でき、D_t^* は t=0 で発散するが t=1 で消失する（命題2.2）。
• エンドポイントの特異性をクランプせずに扱う積分器が安定した生成系を提供する（節2.4）。
• 特徴マップの柔軟性により訓練不要な生成と異モデル間結合が可能となり、散乱変換と事前学習済み速度場で実証（節2.5）。
• 金融の時系列、乱流様の物理場、弱い事前学習モデルのアンサンブルによる画像生成など、セクション3.1–3.3 で実証。
• アンサンブルによってMNIST のサンプル品質が改善され、オラクル対数尤度はおおよそ P ≈ 15 付近で飽和する（図3）。
• カーネル化されたアンサンブルは十分に訓練されていない成分からも一貫した CelebA 顔を生成する（図4）。

Figure 2: Generation of two-dimensional physical fields using scattering-transform features. Top row : ground-truth samples from each dataset. Bottom row : samples generated by Algorithm 1 with $K=5{,}000$ integration steps. From left to right: 3d turbulence (pressure), dark matter (log-density), 3D