[논문 리뷰] Training-Free Generative Modeling via Kernelized Stochastic Interpolants

Florentin Coeurdoux, Etienne Lempereur외 5명|arXiv (Cornell University)|2026. 02. 23.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

본 논문은 커널화된 확률적 보간자를 사용하는 학습 없이 가능한 생성 모델링 프레임워크를 도입한다. 신경망 학습을 데이터 의존적 드리프트 선형 시스템의 해로 대체하고, 유한 차원 특징 맵을 이용하며, 샘플 품질을 개선하기 위해 최적의 확산 스케줄을 적용한다.

ABSTRACT

We develop a kernel method for generative modeling within the stochastic interpolant framework, replacing neural network training with linear systems. The drift of the generative SDE is $\hat b_t(x) = ablaϕ(x)^ opη_t$, where $η_t\in\R^P$ solves a $P imes P$ system computable from data, with $P$ independent of the data dimension $d$. Since estimates are inexact, the diffusion coefficient $D_t$ affects sample quality; the optimal $D_t^*$ from Girsanov diverges at $t=0$, but this poses no difficulty and we develop an integrator that handles it seamlessly. The framework accommodates diverse feature maps -- scattering transforms, pretrained generative models etc. -- enabling training-free generation and model combination. We demonstrate the approach on financial time series, turbulence, and image generation.

연구 동기 및 목표

• 신경망 드리프트 학습을 커널 기반 선형 시스템 접근으로 대체한다.
• 데이터에서 미리 드리프트 계수를 계산하여 학습 없이 생성 가능하게 한다.
• 유연한 생성 모델링을 위한 다양한 특징 맵(스캐터링 변환, 사전 학습된 모델)을 포함한다.
• 생성 오차를 한정하고 끝점 동작을 원활하게 처리하기 위해 최적 확산 스케줄을 활용한다.
• 시계열, 물리적 필드, 이미지 생성에 적용 가능성을 입증한다.

제안 방법

• 드리프트를 근사하기 위한 특징 맵 φ: R^d -> R^P를 정의하여 b_hat_t(x) = grad(φ)(x)^T η_t를 근사한다.
• P×P 그램 시스템 K_t η_t = E[grad(φ(I_t)) · dot{I_t}]을 이용해 η_t를 추정한다(정리 2.1).
• 생성 전에 시간 격자에서 η_t를 사전 계산하고 여러 샘플에 재사용한다(알고리즘 1).
• 경로 KL 발산을 최소화하기 위해 최적 확산 계수 D_t^* = α_t γ_t / β_t를 채택한다(정리 2.2).
• D_0^*=∞ 및 D_1^*=0인 적분기를 도출하여 안정적 생성을 가능하게 한다(섹션 2.4).
• 스캐터링 변환 및 사전 학습된 속도장과 같은 유연한 특징 맵을 허용하여 학습 없이 모델 조합을 가능하게 한다(섹션 2.5).

Figure 1: Generation from a single S&P 500 daily log-returns realization ( $d=6{,}064$ ) using scattering features ( $P=217$ ). Top : Original (blue) and generated sample (orange), both showing volatility clustering. Bottom left : Log-return densities, with near-perfect agreement including heavy tai

실험 결과

연구 질문

• RQ1 확률적 보간자에서 드리프트가 신경망 학습 없이도 유한 차원 커널 표현으로 정확히 근사될 수 있는가?
• RQ2 최적 확산 스케줄 D_t^*가 드리프트 추정 오차 하에서 생성 품질에 어떤 영향을 미치는가?
• RQ3 다양한 특징 맵(예: 스캐터링 변환, 사전 학습된 모델)이 학습 없이 생성 및 모델 조합을 가능하게 하는가?
• RQ4 커널화된 확률적 보간자가 실제 데이터 모달리티(시계열, 난류, 이미지)에 대해 가지는 실용적 능력은 무엇인가?

주요 결과

• 드리프트 추정은 P×P 선형 시스템 해로 축약되며, P는 데이터 차원과 독립이다(정리 2.1).
• 최적 확산 D_t^*를 사용할 때 생성 오차는 경로 KL 발산으로 상한이 가능하며, D_t^*는 t=0에서 발산하지만 t=1에서 소멸한다(정리 2.2).
• 끝점 특이점을 클램핑 없이 처리하는 적분기가 만들어져 안정적인 생성 방식을 제공한다(섹션 2.4).
• 특징 맵의 유연성은 학습 없이 생성 및 모델 간 결합을 가능하게 하며, 스캐터링 변환과 사전 학습된 속도장을 통해 시연된다(섹션 2.5).
• 이 접근법은 금융 시계열, 난류 유사 물리적 필드, 약한 사전학습 모델의 앙상블로 이미지 생성을 시연한다(섹션 3.1–3.3).
• 의견된 MNIST의 약한 모델 앙상블은 추가 학습 없이 샘플 품질을 향상시키며, 오라클 로그 가능도는 P ≈ 15에서 포화되는 경향을 보인다(그림 3).
• 커널화된 앙상블은 학습이 충분히 진행되지 않은 구성요소들로부터도 일관된 CelebA 얼굴을 생성한다(그림 4).

Figure 2: Generation of two-dimensional physical fields using scattering-transform features. Top row : ground-truth samples from each dataset. Bottom row : samples generated by Algorithm 1 with $K=5{,}000$ integration steps. From left to right: 3d turbulence (pressure), dark matter (log-density), 3D