[논문 리뷰] Residual Denoising Diffusion Models

Jiawei Liu, Qiang Wang외 4명|arXiv (Cornell University)|2023. 08. 25.

Advanced Neuroimaging Techniques and Applications인용 수 4

한 줄 요약

이 논문은 잔차 복원 확산 모델(RDDM)을 제안하며, 기존의 단일 복원 확산 과정을 잔차 확산(목표 이미지에서 열악한 이미지로의 변환)과 잡음 확산(랜덤 변형)으로 분리하는 이중 확산 프레임워크이다. ℓ₁ 손실과 배치 크기 1만으로도 해석 가능한 작업 통합 이미지 생성 및 복원을 가능하게 하여, 이전 방법보다 10배 적은 학습 반복, 파라미터 수, 추론 시간으로 이미지 복원 분야에서 최고 성능(SOTA)을 달성한다.

ABSTRACT

We propose residual denoising diffusion models (RDDM), a novel dual diffusion process that decouples the traditional single denoising diffusion process into residual diffusion and noise diffusion. This dual diffusion framework expands the denoising-based diffusion models, initially uninterpretable for image restoration, into a unified and interpretable model for both image generation and restoration by introducing residuals. Specifically, our residual diffusion represents directional diffusion from the target image to the degraded input image and explicitly guides the reverse generation process for image restoration, while noise diffusion represents random perturbations in the diffusion process. The residual prioritizes certainty, while the noise emphasizes diversity, enabling RDDM to effectively unify tasks with varying certainty or diversity requirements, such as image generation and restoration. We demonstrate that our sampling process is consistent with that of DDPM and DDIM through coefficient transformation, and propose a partially path-independent generation process to better understand the reverse process. Notably, our RDDM enables a generic UNet, trained with only an L1 loss and a batch size of 1, to compete with state-of-the-art image restoration methods. We provide code and pre-trained models to encourage further exploration, application, and development of our innovative framework (https://github.com/nachifur/RDDM).

연구 동기 및 목표

• 이미지 복원에서 단일 복원 확산의 해석 불가능성 문제를 해결하기 위해, 전진 과정에서 열악한 입력에 대한 정보가 부족한 점을 해결한다.
• 방향성 잔차 확산을 도입하여 단일 해석 가능한 확산 프레임워크 내에서 이미지 생성과 복원을 통합한다.
• 최소한의 감독(예: ℓ₁ 손실과 배치 크기 1)으로도 효과적인 학습을 가능하게 하며, SOTA 성능을 유지하거나 초월한다.
• 역방향 생성 과정의 강건성과 해석 가능성을 향상시키는 경로에 독립적인 샘플링 메커니즘을 제공한다.
• 잔차와 잡음이 확산 과정 내에서 서로 다른 역할을 하며, 확실성과 다양성의 보완적 기능을 수행함을 입증한다.

제안 방법

• RDDM은 확산 과정을 두 개의 독립된 구성요소로 분해한다: 목표 이미지에서 열악한 입력으로의 잔차 확산과 랜덤 변형을 포함하는 잡음 확산이며, 각각 고유한 계수 스케줄에 의해 지배된다.
• 전진 과정은 목표 이미지를 동시에 잔차 및 잡음 확산을 통해 노이즈 상태로 변환하며, 잔차 경로는 청소년 이미지에서 열악한 이미지로의 방향성 변환을 나타낸다.
• 역방향 과정은 계수 변환을 통해 DDPM 및 DDIM과 호환되며, 기존 샘플링 방법과의 호환성을 보장한다.
• 부분적으로 경로에 독립적인 생성 과정이 도입되었으며, 잔차를 먼저 제거하고 나서 노이즈 제거를 수행하더라도 의미적으로 일관된 이미지가 생성됨을 확인하여 강건성을 검증한다.
• 모델은 단순한 UNet을 사용하며 ℓ₁ 손실과 배치 크기 1만으로도 다양한 복원 작업에서 경쟁적인 성능을 달성한다.
• 이 프레임워크는 조건부 입력을 네이티브로 지원하여 아키텍처 수정 없이도 이미지-이미지 번역 및 복원 작업에 직접 적용 가능하다.

실험 결과

연구 질문

• RQ1 잔차 및 잡음 성분을 명시적으로 모델링하는 이중 확산 프로세스가 단일 해석 가능한 프레임워크 내에서 이미지 생성과 복원을 통합할 수 있는가?
• RQ2 잔차 및 잡음 확산 계수를 별도로 제어할 경우 모델 성능과 샘플링 일관성에 어떤 영향을 미치는가?
• RQ3 간단한 ℓ₁ 손실과 최소한의 배치 크기(1)로도 일반적인 UNet이 SOTA 복원 성능을 달성할 수 있는가?
• RQ4 RDDM의 역방향 과정에서의 경로 독립성은 다양한 이미지 복원 작업에 걸쳐 강건성과 일반화 능력을 향상시키는가?
• RQ5 잔차 성분이 이전 방법의 암묵적 조건부 설정과 달리, 복원 과정에서 의미 있고 해석 가능한 안내자로 기능할 수 있는가?

주요 결과

• RDDM은 그림자 제거 작업에서 ISTD 데이터셋에서 SOTA 성능을 달성하며, SR3보다 PSNR와 SSIM을 각각 10% 향상시켰고, 학습 반복 수는 10배 적고 추론 속도는 10배 빠르다.
• 학습에 필요한 GPU 메모리는 4.8GB 뿐이므로 자원이 제한된 시스템에도 배포 가능하다.
• 배치 크기 1과 ℓ₁ 손실 조건에서 RDDM의 일반 UNet은 전문화된 SOTA 복원 방법을 능가하는 성능을 보이며, 잔차 가이던스의 효과성을 입증한다.
• 부분적으로 경로에 독립적인 샘플링 과정은 잔차를 먼저 제거한 후 노이즈 제거를 수행하더라도 의미적으로 일관된 이미지를 생성함을 확인하여 모델의 강건성을 검증한다.
• RDDM의 이중 계수 스케줄은 잔차 및 잡음 확산를 별도로 제어할 수 있게 하여, 생성 과정 내에서 확실성(잔차)과 다양성(잡음)의 더 나은 분리가 가능하다.
• 프레임워크는 DDPM 및 DDIM 샘플링과 완전히 호환되어 기존 확산 모델 파ip라인과의 후행 호환성을 확보한다.