[논문 리뷰] Divide-and-Conquer Posterior Sampling for Denoising Diffusion Priors

Yazid Janati, Moufad, Badr외 3명|arXiv (Cornell University)|2024. 03. 18.

Seismic Imaging and Inversion TechniquesEarth and Planetary Sciences인용 수 3

한 줄 요약

이 논문은 디노이징 확산 모델(Denoising Diffusion Model, DDM) 사전을 사용하는 베이지안 선형 역문제에서 사후 분포로부터 샘플링하기 위한 새로운 방법인 Divide-and-Conquer Posterior Sampling (DCPS)을 제안한다. 분할 정복 전략을 통해 사후 샘플링 작업을 더 단순한 중간 문제의 시퀀스로 분해하고, 랭글레인 역동성과 변분 추론을 활용함으로써, 작업에 특화된 튜닝 없이도 낮은 근사 오차와 뛰어난 복원 품질을 달성한다.

ABSTRACT

Recent advancements in solving Bayesian inverse problems have spotlighted denoising diffusion models (DDMs) as effective priors. Although these have great potential, DDM priors yield complex posterior distributions that are challenging to sample. Existing approaches to posterior sampling in this context address this problem either by retraining model-specific components, leading to stiff and cumbersome methods, or by introducing approximations with uncontrolled errors that affect the accuracy of the produced samples. We present an innovative framework, divide-and-conquer posterior sampling, which leverages the inherent structure of DDMs to construct a sequence of intermediate posteriors that guide the produced samples to the target posterior. Our method significantly reduces the approximation error associated with current techniques without the need for retraining. We demonstrate the versatility and effectiveness of our approach for a wide range of Bayesian inverse problems. The code is available at \url{https://github.com/Badr-MOUFAD/dcps}

연구 동기 및 목표

• 복잡한 딥 생성 사전, 특히 디노이징 확산 모델(DDM)을 사용할 때 베이지안 역문제에서 사후 샘플링의 과제를 해결하기 위해.
• 드리프트 항의 근사에 의존하는 기존 방법들이 일반적으로 높은 근사 오차와 하이퍼파rameter에 민감한 문제를 해결하기 위해.
• DDM 사전의 구조를 활용하여 사후 분포를 더 단순한 중간 문제의 시퀀스로 분해하는 원칙적이고 확장 가능한 샘플링 프레임워크를 개발하기 위해.
• 초해상도, 인painting, 색상화 등의 이미지 복원 작업에서 작업에 특화된 하이퍼파rameter 튜닝 없이도 높은 품질의 복원을 달성하기 위해.
• 분해 수준 수준(L)을 증가시켜 프리드먼–카프 모델의 길이를 단축시킴으로써 이론적으로 근거가 있는 방법으로 근사 오차를 감소시키기 위해.

제안 방법

• 표준 정규분포에서 목표 사후분포로 이르는 부드러운 경로를 형성하는 일련의 가짜 사후분포 $ q_{k_\tau}^y $ 를 도입하며, 이는 이산화된 시간 그리드 $ \tau = 0, \dots, L $ 에 의해 매개변수화된다.
• 각 단계 $ \ell \in \llbracket 0, L-1 \rrbracket $ 에서는 비균일한 마르코프 전이 커널을 가진 프리드먼–카프 모델로 중간 사후분포 $ q_{k_{\ell}}^y $ 를 정의한다.
• 각 중간 분포의 역행 커널을, $ q_{k_{\ell+1}}^y $ 에서 샘플을 취한 후 초기화된 가우시안 변분 근사 $ q_{k_{\ell+1}}^{y,\ell} $ 를 사용해 근사한다.
• 효율적인 중간 사후분포 탐색을 보장하기 위해 $ G $ 단계의 조정되지 않은 랭글레인 알고리즘을 사용해 $ q_{k_{\ell+1}}^{y,\ell} $ 에서 샘플을 추출한다.
• 랭글레인 역동성과 비균일한 마르코프 체인 전이를 조합한 역행 샘플링 전략을 사용하여 $ q_{k_{\ell+1}}^y $ 에서 $ q_{k_{\ell}}^y $ 로 샘플을 전파함으로써 근사 오차를 최소화한다.
• 이론적 결과를 활용하여 $ k_{\ell+1} - k_\ell $ 의 길이를 줄이면(즉, $ L $ 을 증가시키면) 가우시안 근사 오차가 감소함을 보여주며, 이는 고정밀 사후 샘플링을 가능하게 한다.

Figure 2: Illustration of DCPS with $L=3$ . Red dots refer to the distribution path ( 4.1 ) and $(\mathrm{L})$ denotes Langevin steps targeting $\smash{p^{y,\ell-1}_{{k_{\ell}}}}$ initialized at approximate samples from $\smash{p^{y}_{{k_{\ell}}}}$ . Arrows starting from $\smash{p^{y,\ell-1}_{{k_{\e

실험 결과

연구 질문

• RQ1 기존의 드리프트 근사 방법에 비해 분할 정복 전략이 DDM 사전에 대한 사후 샘플링의 근사 오차를 줄일 수 있는가?
• RQ2 제안된 프레임워크에서 중간 프리드먼–카프 모델의 길이가 사후 근사 정확도에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 작업에 특화된 하이퍼파rameter 튜닝 없이도 이미지 복원 작업에서 높은 품질의 복원을 달성할 수 있는가?
• RQ4 DPS 및 DDRM과 같은 기존 방법들과 비교했을 때, 이 방법은 관측된 이미지 영역과의 일致성과 샘플 다양성 측면에서 어떻게 성능을 내는가?
• RQ5 변분 근사와 랭글레인 역동성은 샘플링 체인의 혼합과 수렴에 어떤 영향을 미치는가?

주요 결과

• DCPS는 초해상도(4× 및 16×), 아웃포팅, 인페인팅, 색상화 작업에서 최고 성능의 복원 품질을 달성하며, 선명하고 일관되며 다양한 샘플을 생성한다.
• 가우시안 혼합 실험에서 $ L=50 $ 인 DCPS는 SW 거리 $ 1.95/2.70 \pm 2.28 $ 를 기록하여, 사후 근사 정확도 측면에서 기준 방법들보다 뚜렷이 뛰어나다.
• L=500 인 DCPS는 SW 거리 $ 1.26/2.59 \pm 2.83 $ 를 기록하여, 분해 수준을 늘일수록 근사 오차가 추가로 감소함을 보여주며, 이는 근사 오차 감소의 잠재력을 입증한다.
• DPS와 달리, DCPS는 관측된 이미지 영역와의 일관성을 유지하고 일관된 재구성을 생성하며, 모든 작업에서 일관된 결과를 도출한다.
• DPS는 다양한 데이터셋과 작업에서 광범위한 튜닝이 필요로 했지만, DCPS는 작업 또는 데이터에 특화된 하이퍼파rameter 튜닝이 필요로 하지 않는다.
• DDRM은 항상 흐릿하고 다양성이 낮은 샘플을 생성하여 모드 붕괴를 보였지만, DCPS는 어떤 튜닝 없이도 높은 다양성과 선명함을 유지한다.