[논문 리뷰] DiracDiffusion: Denoising and Incremental Reconstruction with Assured Data-Consistency

Zalan Fabian, Berk Tınaz외 1명|PubMed|2023. 03. 25.

Topological and Geometric Data Analysis인용 수 4

한 줄 요약

DiracDiffusion는 관측 과정을 확률적 열화로 모델링하여 후처리 없이 데이터 일관성 있는 복원을 가능하게 하는 새로운 확산 기반 프레임워크를 제안한다. 조기 정지 기법을 통해 시각적 품질과 왜곡 지표 간의 민감한 트레이드오프를 가능하게 하여, deblurring 및 inpainting 작업에서 기존 방법들을 능가하는 PSNR 및 LPIPS 점수를 달성한다.

ABSTRACT

Diffusion models have established new state of the art in a multitude of computer vision tasks, including image restoration. Diffusion-based inverse problem solvers generate reconstructions of exceptional visual quality from heavily corrupted measurements. However, in what is widely known as the perception-distortion trade-off, the price of perceptually appealing reconstructions is often paid in declined distortion metrics, such as PSNR. Distortion metrics measure faithfulness to the observation, a crucial requirement in inverse problems. In this work, we propose a novel framework for inverse problem solving, namely we assume that the observation comes from a stochastic degradation process that gradually degrades and noises the original clean image. We learn to reverse the degradation process in order to recover the clean image. Our technique maintains consistency with the original measurement throughout the reverse process, and allows for great flexibility in trading off perceptual quality for improved distortion metrics and sampling speedup via early-stopping. We demonstrate the efficiency of our method on different high-resolution datasets and inverse problems, achieving great improvements over other state-of-the-art diffusion-based methods with respect to both perceptual and distortion metrics.

연구 동기 및 목표

• 확산 기반 역문제 해결에서 시각적 품질과 왜곡 지표(예: PSNR) 간의 트레이드오프 문제를 해결하기 위해, 높은 시각적 품질이 낮은 왜곡 지표를 수반하는 경향이 있는 문제를 해결한다.
• 역확산 과정 全 과정에서 원본 측정치와 엄격한 데이터 일관성을 유지하여 후처리 투영 또는 보정이 필요 없도록 하는 방법을 개발한다.
• 샘플링 중 조기 정지를 허용함으로써 복원 품질에 대한 민감한 제어를 가능하게 하여, 시각적 정확도를 포기하고 왜곡 지표 향상과 더 빠른 추론을 추구할 수 있도록 한다.
• 전방 열화 과정을 청소년 이미지의 점진적 손상으로 모델링하여, 확산 과정이 물리적 또는 알고리즘적 손상 메커니즘과 직접 일치하도록 한다.
• CelebA-HQ 및 ImageNet 데이터셋에서 다양한 고해상도 역문제, 특히 deblurring 및 inpainting에 대해 최신 기준 수준의 성능을 달성한다.

제안 방법

• 전방 과정을 청결한 이미지를 점진적으로 손상시키는 확률적 열화 과정으로 모델링하며, 관측치는 원래 신호의 노이즈 있는 복제본이다.
• 동일한 확률적 손상 역학을 기반으로 훈련된 확산 모델을 사용하여 이 특정 열화 과정을 역전시킴으로써 내재된 데이터 일관성을 확보한다.
• 역과정은 구조적으로 원본 측정치와 일치하므로 추가적인 투영 단계나 반복 보정이 필요로 하지 않는다.
• 역샘플링 궤적의 어느 단계에서든 조기 정지를 허용함으로써 유연한 복원 품질 제어가 가능하며, 이는 시각적 정확도를 포기하고 왜곡 지표 향상과 속도 향상을 추구하는 데 기여한다.
• 샘플링 중 세부 사항이 점진적으로 추가되는 특성을 활용하여, 후속 단계에서 고주파 성분이 정밀하게 보정되며 최종 출력 품질에 대한 제어 기반을 제공한다.
• 전방 SDE가 측정 모델을 명시적으로 표현하므로, 전방 과정에 대해 종단 간 훈련이 가능하며, 다양한 역문제에 직접 적용이 가능하다.

실험 결과

연구 질문

• RQ1 특정 문제에 맞게 훈련된 확률적 열화 과정을 기반으로 한 확산 모델은 표준 확산 모델보다 더 높은 데이터 일관성과 왜곡 지표를 달성할 수 있는가?
• RQ2 역샘플링 과정에서의 조기 정지는 역문제 복원에서 시각적 품질과 왜곡 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ3 동일한 역샘플링 궤적을 통해 재실행 없이도 다양한 시각적 품질과 왜곡 특성을 가진 복원 결과를 생성할 수 있는가?
• RQ4 실제 손상 메커니즘과 일치하는 확률적 과정으로 전방 열화를 모델링할 경우, 일반적인 가우시안 노이즈 추가 방식보다 더 높은 복원 정밀도를 달성할 수 있는가?
• RQ5 제안된 방법은 고해상도 데이터셋에서 PSNR, SSIM, LPIPS 측정치 측면에서 기존의 확산 기반 역문제 해결 기법들을 얼마나 능가할 수 있는가?

주요 결과

• DiracDiffusion는 CelebA-HQ 및 ImageNet 데이터셋에서 deblurring 및 inpainting 작업 전반에 걸쳐 최신 기준 수준의 성능을 달성하며, 시각적 품질과 왜곡 지표 양면에서 기존의 확산 기반 방법들을 능가한다.
• 기존 기준 대비 PSNR 점수를 크게 향상시켜 최대 1.5 dB 높은 성능을 달성했으며, LPIPS 측정치로 측정된 시각적 품질은 유지 또는 향상시켰다.
• 조기 정지를 통해 사용자는 최소한의 계산 오버헤드로 시각적 품질을 포기하고 왜곡 정밀도(예: 더 높은 PSNR)를 향상시킨 복원 결과를 확보할 수 있다.
• 10개 샘플에 대한 불확실성 맵 분석 결과, 복원 결과의 분산이 낮아 안정적이고 일관된 샘플링 행동을 보이며, 특히 조기 정지 영역에서 두드러진다.
• DPS, DDRM, PnP-ADMM, ADMM-TV와 같은 강력한 베이스라인보다 정량적 지표와 시각적 품질 모두에서 뛰어난 성능을 보이며, 특히 고주파 성분 복원에서 두각을 나타낸다.
• 이 프레임워크는 고해상도 데이터에서의 다양한 역문제, 예를 들어 가우시안 블러링 및 인painting에 대해 뛰어난 안정성과 일관된 향상을 보이며, 강력한 보편성과 탄력성을 입증했다.