[논문 리뷰] GibbsDDRM: A Partially Collapsed Gibbs Sampler for Solving Blind Inverse Problems with Denoising Diffusion Restoration

Naoki Murata, Koichi Saito외 5명|arXiv (Cornell University)|2023. 01. 30.

Image and Signal Denoising Methods인용 수 7

한 줄 요약

GibbsDDRM는 선형 측정 연산자가 알려져 있지 않은 블라인드 역문제에 적용 가능한 부분적으로 붕괴된 깁스 샘플러를 제안한다. 사전 훈련된 확산 모델을 데이터 사전확률로 활용하고 연산자 매개변수에 일반적인 사전확률을 사용함으로써, 보정 또는 연산자 사전확률 학습 없이 문제에 종속되지 않는 고성능 복원을 가능하게 한다. 이는 블라인드 이미지 블러링 제거 및 보컬 리버버브 제거에 효과적이다.

ABSTRACT

Pre-trained diffusion models have been successfully used as priors in a variety of linear inverse problems, where the goal is to reconstruct a signal from noisy linear measurements. However, existing approaches require knowledge of the linear operator. In this paper, we propose GibbsDDRM, an extension of Denoising Diffusion Restoration Models (DDRM) to a blind setting in which the linear measurement operator is unknown. GibbsDDRM constructs a joint distribution of the data, measurements, and linear operator by using a pre-trained diffusion model for the data prior, and it solves the problem by posterior sampling with an efficient variant of a Gibbs sampler. The proposed method is problem-agnostic, meaning that a pre-trained diffusion model can be applied to various inverse problems without fine-tuning. In experiments, it achieved high performance on both blind image deblurring and vocal dereverberation tasks, despite the use of simple generic priors for the underlying linear operators.

연구 동기 및 목표

• 선형 측정 연산자가 알려져 있지 않은 블라인드 역문제를 해결하는 것. 이는 영상 및 음성 처리 분야에서 흔한 과제이다.
• 기존 방법들이 연산자 매개변수를 위한 확산 모델을 훈련이 필요로 하는 한계를 극복하는 것.
• 다양한 역문제에 대해 재훈련 없이도 동일한 사전 훈련된 확산 모델을 사용함으로써 문제에 종속되지 않는 추론을 가능하게 하는 것.
• 청결한 데이터와 알려지지 않은 선형 연산자 매개변수를 동시에 추정할 수 있는 효율적인 사후 분포 샘플링 프레임워크를 개발하는 것.
• 복잡한 데이터 기반 사전확률 대신 일반적인 사전확률만을 사용하여 고성능 복원을 달성하는 것.

제안 방법

• 사전 훈련된 확산 모델을 데이터 사전확률로, 연산자 매개변수에 비정보성 사전확률을 사용하여 데이터, 측정값, 선형 연산자 매개변수에 대한 공동 사후분포를 구성한다.
• 계산이 불가능한 조건부 분포를 다룰 수 있도록 유한한 근사값을 사용하는 부분적으로 붕괴된 깁스 샘플러(PCA)를 적용하여 효율적인 사후 샘플링을 가능하게 한다.
• 데이터(또는 잠재 변수)와 선형 연산자 매개변수 간에 샘플링을 번갈아 수행하며, 매개변수 업데이트 시 생성 모델의 표현 능력을 활용한다.
• 스코어 추정을 통한 랭게빈 역학을 사용하여 선형 연산자 매개변수를 샘플링함으로써 추론 과정의 안정성을 높인다.
• 복원 확산 모델을 통한 스코어 기반 추론을 통합하여 데이터 및 연산자 매개변수의 사후 샘플링을 이끌어낸다.
• 다양한 역문제에 걸쳐 사전 훈련된 확산 모델의 보정 없이 문제에 종속되지 않는 추론을 유지한다.

실험 결과

연구 질문

• RQ1 선형 연산자에 대한 사전확률을 학습하거나 보정 없이도 사전 훈련된 확산 모델이 블라인드 역문제에 효과적으로 활용될 수 있는가?
• RQ2 부분적으로 붕괴된 깁스 샘플러는 공동 데이터 및 연산자 추정에서 사후 샘플링의 효율성과 안정성을 어떻게 향상시키는가?
• RQ3 일반적인 선형 연산자 매개변수 사전확률이 블라인드 역문제에서 얼마나 높은 품질의 복원을 달성할 수 있는가?
• RQ4 GibbsDDRM은 BlindDPS와 같은 최신 기술 대비 고노이즈 조건에서 인지적 품질과 내성에 얼마나 뛰어난가?
• RQ5 아키텍처나 분포 적응 없이도 다양한 역문제, 예를 들어 이미지 블러링 제거 및 음성 리버버브 제거에 일반화 가능한가?

주요 결과

• GibbsDDRM는 경쟁 기법들보다 인지적 품질에서 뛰어나며, FFHQ 데이터셋에서 LPIPS 점수 0.115를 기록하여 진짜 이미지와의 유사도가 뛰어나다.
• 블라인드 이미지 블러링 제거에서 최적의 초모수 설정 하에 PSNR 39.28, FID 25.64를 달성하여 일반적인 사전확률만을 사용함에도 불구하고 뛰어난 성능을 보였다.
• 보컬 리버버브 제거에서 높은 품질의 신호 복원을 달성하였으며, 신호의 유사도가 향상되고 리버버브가 효과적으로 제거되었다.
• 연산자 매개변수에 대한 랭게빈 샘플링 전략은 MAP 추정보다 더 높은 안정성을 보였으며, 1000장의 테스트 이미지에서 PSNR 및 LPIPS 히스토GRAM이 더 좁게 분포함을 확인했다.
• 측정 노이즈가 높은 조건(σy = 1.0×10−3)에서도 충실한 이미지를 복원할 수 있었으며, 큰 블러 커널 조건에서도 뛰어난 성능을 보였다.
• 초모수 튜닝 결과, LPIPS 최적화 설정과 PSNR 최적화 설정이 다름을 확인하여 인지적 품질과 피크 신호 대비 노이즈 비율 간의 상충 관계가 있음을 시사했다.