[논문 리뷰] Removing Structured Noise with Diffusion Models

Tristan S. W. Stevens, van Gorp, Hans외 5명|arXiv (Cornell University)|2023. 01. 20.

Model Reduction and Neural Networks인용 수 9

한 줄 요약

본 논문은 두 개의 스코어 네트워크로 신호와 구조화된 노이즈를 함께 모델링하는 공동 사후 확산 프레임워크를 도입하여, 확산 기반 사후 샘플링을 통해 역문제에서 구조화된 노이즈를 제거하고 NF/GAN baselines를 능가한다.

ABSTRACT

Solving ill-posed inverse problems requires careful formulation of prior beliefs over the signals of interest and an accurate description of their manifestation into noisy measurements. Handcrafted signal priors based on e.g. sparsity are increasingly replaced by data-driven deep generative models, and several groups have recently shown that state-of-the-art score-based diffusion models yield particularly strong performance and flexibility. In this paper, we show that the powerful paradigm of posterior sampling with diffusion models can be extended to include rich, structured, noise models. To that end, we propose a joint conditional reverse diffusion process with learned scores for the noise and signal-generating distribution. We demonstrate strong performance gains across various inverse problems with structured noise, outperforming competitive baselines that use normalizing flows and adversarial networks. This opens up new opportunities and relevant practical applications of diffusion modeling for inverse problems in the context of non-Gaussian measurement models.

연구 동기 및 목표

• 확산 모델을 통해 학습된 데이터 기반 사전을 사용하여 ill-posed 역문제 해결의 필요성을 제시한다.
• 측정 과정에서 구조화되고 비가우시안 노이즈를 다루기 위해 사후 샘플링의 일반화를 제시한다.
• 신호와 노이즈에 대해 독립적인 스코어 모델을 갖는 공동 확산 프레임워크를 도입한다.
• 역문제에 대해 확산 샘플러와 호환되는 데이터 일관성 전략을 제시한다.
• 경쟁적 기준선 대비 강건성과 성능 향상을 입증한다.

제안 방법

• 두 개의 스코어 네트워크: s_theta는 신호 X에, s_phi는 구조화된 노이즈 N에 대한 공동 조건부 역 확산 프로세스를 제안한다.
• 각 데이터에 대해 denoising score matching을 사용하여 두 스코어 모델을 학습하고 p(X_t)와 p(N_t)의 스코어 함수를 근사한다.
• 관찰 모형 Y = AX + N를 공동 사후 p(X,N|Y)로 통합하고, X와 N의 그래디언트를 도출하여 사전과 데이터 항을 베이지안 가중치와 함께 결합한다.
• 데이터 일관성 규칙(Pi GDM, DPS, 및 projection)을 사용하여 다루기 어려운 p(Y|X_t,N_t)를 시간에 따라 가변하는 파라미터를 가진 가우시안으로 근사한다.
• 적응된 Euler-Maruyama 샘플러(또는 ALD, 확률 흐름 ODE, 또는 Predictor-Corrector와 같은 대안)를 사용하여 공동 사후의 샘플을 생성한다.
• 데이터와 구조화된 노이즈에 대해 별도의 데이터셋으로 이중 단계 확산 학습을 구현하고, 단일 통합 샘플링 루프로 추론을 수행한다.

실험 결과

연구 질문

• RQ1 확산 모델을 확장하여 신호와 노이즈에 대한 별도 사전을 학습함으로써 구조화된 노이즈를 다룰 수 있는가?
• RQ2 공동 확산 샘플러가 비가우시안의 구조화된 노이즈를 가진 역문제에서 회복 성능을 NF/GAN 대비 향상시키는가?
• RQ3 다양한 데이터 일관성 규칙(Pi GDM, DPS, projection)이 구조화된 노이즈 역문제의 성능에 어떤 영향을 미치는가?
• RQ4 확산 기반 공동 사후 샘플러가 분포 외 신호와 노이즈에 대해 강건한가?

주요 결과

• 신호와 노이즈를 각각 독립적인 스코어 모델로 처리하는 공동 확산이 NF 및 GAN 기반 기준선 대비 구조화된 노이즈 작업에서 강력한 성능 향상을 달성한다.
• 프레임워크가 여러 데이터 일관성 전략(Pi GDM, DPS, projection)을 지원하며 표준 확산 샘플러와의 호환성을 유지한다.
• 데이터 및 노이즈에 대한 pretrained 스코어 모델을 재사용하여 새로운 작업에 유연하게 적용 가능하다.
• 방법은 기준선에 비해 분포 외 신호 및 노이즈 유형에 대해 더 강건한 성능을 보여준다.
• 이 방법은 포인트 추정이 아닌 사후 샘플링을 가능하게 하여 재구성에서 불확실성 정보를 보존한다.