[논문 리뷰] Infinite-dimensional generative diffusions via Doob's h-transform

Thorben Pieper-Sethmacher, Daniel Paulin|arXiv (Cornell University)|2026. 02. 06.

Markov Chains and Monte Carlo Methods인용 수 0

한 줄 요약

논문은 Doob’s h-transform을 이용해 참조 확산을 목표 분포에 맞추는 무한 차원 생성 확산 프레임워크를 개발하여 시간 역확산의 노이즈를 의존하지 않고 샘플링이 가능하도록 하며, 이론적 보장과 점수 기반 학습을 제공합니다. VP-SPDE 인스턴스화와 Gaussian 혼합, MNIST-SDF, 그리고 지진학 밸류 역문제에의 응용이 포함됩니다.

ABSTRACT

This paper introduces a rigorous framework for defining generative diffusion models in infinite dimensions via Doob's h-transform. Rather than relying on time reversal of a noising process, a reference diffusion is forced towards the target distribution by an exponential change of measure. Compared to existing methodology, this approach readily generalises to the infinite-dimensional setting, hence offering greater flexibility in the diffusion model. The construction is derived rigorously under verifiable conditions, and bounds with respect to the target measure are established. We show that the forced process under the changed measure can be approximated by minimising a score-matching objective and validate our method on both synthetic and real data.

연구 동기 및 목표

• Doob’s h-transform에 기초하여 참조 확산을 목표 분포로 강제하는 엄밀한 무한 차원 생성 확산 프레임워크를 개발한다.
• 노이징 과정의 시계열 역확산에 의존하거나 장시간 수렴 문제를 피한다.
• h-변환 과정의 존재에 대한 명시적 조건을 제공하고 목표 분포에 대한 샘플링 경계를 도출한다.
• 점수 매칭을 통해 조정 함수를 학습하는 방법을 보이고, 무한 차원 setting 전 영역에서의 강건성을 시연한다.
• VP-SPDE 인스턴스화를 도입하고 이의 이론적 특성과 실용적 성능을 분석한다.

제안 방법

• 무한 차원 힐베르트 공간에서 선형/비선형 드리프트와 실린더 위노에 노이즈(Eq. 1)로 확산 X를 형식화한다.
• Doob’s h-transform을 적용하여 X가 시간 T에 μ를 만날 수 있도록 조건화하고, 보조 제어항이 추가된 강제 과정 X^h를 얻는다(Eq. 4).
• 전이 밀도에 대해 Assumption 3.1이 필요하도록 경로 밀도에 의해 h(t,x)를 정의한다(Eq. 3).
• 조정 함수 s(t,x)=∇x log h(t,x)를 매개변수화된 s_θ로 근사하고, X^h를 X^θ와 일치시키기 위한 score-matching 유형의 손실을 최소화한다(Eq. 6, Prop. 4.1).
• μ0^h에서 샘플을 추출하고 강제 SDE의 순방향 시뮬레이션을 통해 μ로부터 샘플을 생성한다.
• VP-SPDE로 특수화: X를 A, Q, β(t) 연산자로 정의된 이하의 비동형 Ornstein–Uhlenbeck 과정으로 설정한다(Eq. 7).
• h의 존재를 증명하고 VP-SPDE 하에서 X^h를 구성한다(Eq. 8).
• 데이터 샘플링과 생성 샘플 간의 Wasserstein 오차 상한을 도출하고 수치화, 초기화, 손실 추정 오차를 분해한다(Prop. 6.1).
• μ ⊂ H_ν의 경우 짧은 초기 노이징으로 정규화하여 μ_ε ≪ ν를 보장하는 실제 케이스를 다룬다(Eq. 10) (Lemma 6.4).

(a)

실험 결과

연구 질문

• RQ1 도움이 Doob’s h-transform을 사용해 무한 차원에서 직접 유한 샘플 비편향 생성 확산 모델을 정의할 수 있는가?
• RQ2 h-변환 과정이 존재하고 샘플링 보장이 용이함을 확인할 수 있는 검증 가능한 조건은 무엇인가?
• RQ3 조정 함수를 점수 매칭으로 데이터에서 어떻게 학습하고, 이것이 샘플링 정확도에 어떻게 영향을 미치는가?
• RQ4 VP-SPDE 인스턴스화는 고차원 함수 공간 작업과 베이지안 역문제에서 어떤 성능을 보이는가?
• RQ5 이산화 및 추정 오차를 고려했을 때 생성 샘플과 목표 분포 간의 정량적 오차 경계는 무엇인가?

주요 결과

모델	T=1	T=0.2
ND	0.274	0.692
HND	0.117	0.510
FCN (ours)	0.258	0.123
FNS (ours)	0.055	0.053

• h-transform 프레임워크는 X^h가 시간 T에서 μ에 도달하는 고유한 측도와, X^h가 수정된 SDE를 해석적으로 만족한다(Eq. 4).
• 조정 함수 s(t,x)는 점수 매칭 목적을 통해 학습될 수 있으며, 경로 측정치를 정렬하는 실용적 학습 목표를 제공한다(Prop. 4.1).
• VP-SPDE는 γ의 가변 거칠기 매개변수로 무한 차원 확산을 잘 정의하며 실행 가능한 인스턴스화를 제공한다(Eq. 7 및 Corollaries 5.2, 5.5).
• 데이터 분포와 생성 샘플 간의 Wasserstein-2 오차 경계가 제시되며 초기화, 손실, 수치 이산화 오차를 분리한다(Prop. 6.1).
• 합성 Gaussian 혼합, MNIST-SDF, 지진 역문제에서의 실험으로 차원 및 시간 horizon에 대한 강건성을 확인하고 MNIST-SDF에서 경쟁력 있는 FID 점수(Table 2)과 바람직한 확산 거동이 관찰되었다(테이블 및 그림 인용).
• 실험은 강제 확산 모델(FCN, FNS)이 표준 ND/HND 기준보다 짧은 노이즈화 시간과 더 높은 차원에서도 강건함을 유지함을 보여준다(Table 1).

(b)