[논문 리뷰] ACDMSR: Accelerated Conditional Diffusion Models for Single Image Super-Resolution

Axi Niu, Pham Xuan Trung외 5명|arXiv (Cornell University)|2023. 07. 03.

Advanced Image Processing TechniquesComputer Science인용 수 3

한 줄 요약

ACDMSR는 사전 훈련된 초해상도 모델의 출력을 조건부 이미지로 사용하여 빠르고 조건부 디퓨전 모델을 제안함으로써 단일 이미지 초해상도 복원을 위해 고해상도, 사진처럼 현실적인 결과를 도출한다. 이 방법은 Set5, Urban100, BSD100 등의 벤치마크 데이터셋에서 정량적 지표와 인지적 품질 측면에서 최신 기술 수준(SOTA)의 성능을 달성하며, 기존의 디퓨전 기반 및 CNN 기반 접근 방식보다 시각적 정밀도에서 뚜렷이 뛰어나면서도 경쟁적인 PSNR 및 SSIM 점수를 유지한다.

ABSTRACT

Diffusion models have gained significant popularity in the field of image-to-image translation. Previous efforts applying diffusion models to image super-resolution (SR) have demonstrated that iteratively refining pure Gaussian noise using a U-Net architecture trained on denoising at various noise levels can yield satisfactory high-resolution images from low-resolution inputs. However, this iterative refinement process comes with the drawback of low inference speed, which strongly limits its applications. To speed up inference and further enhance the performance, our research revisits diffusion models in image super-resolution and proposes a straightforward yet significant diffusion model-based super-resolution method called ACDMSR (accelerated conditional diffusion model for image super-resolution). Specifically, our method adapts the standard diffusion model to perform super-resolution through a deterministic iterative denoising process. Our study also highlights the effectiveness of using a pre-trained SR model to provide the conditional image of the given low-resolution (LR) image to achieve superior high-resolution results. We demonstrate that our method surpasses previous attempts in qualitative and quantitative results through extensive experiments conducted on benchmark datasets such as Set5, Set14, Urban100, BSD100, and Manga109. Moreover, our approach generates more visually realistic counterparts for low-resolution images, emphasizing its effectiveness in practical scenarios.

연구 동기 및 목표

• 디퓨전 모델의 단일 이미지 초해상도 복원(SISR)에서 느린 추론 속도 문제를 해결하여 실용적 적용을 가능하게 하기 위해.
• 기존의 PSNR 최적화 방법을 초월하여 조건부 디퓨전 모델링을 활용해 SISR의 인지적 품질을 향상시키기 위해.
• 사전 훈련된 모델에서 생성된 사전 초해상도 특징이 디퓨전 기반 SISR의 효과적인 조건부 입력으로 사용될 수 있는지 조사하기 위해.
• 기본 SR 모델을 다시 훈련하지 않고도 이미지의 현실감을 향상시킬 수 있는 단순하면서도 효과적인 후처리 프레임워크를 개발하기 위해.

제안 방법

• 입력된 저해상도(LR) 이미지에서 사전 훈련된 초해상도 모델(예: RRDB, EDSR, RCAN, SwinIR)을 사용해 조건부 이미지를 생성한다.
• 이 조건부 이미지는 디퓨전 모델에서 반복적인 노이즈 제거를 수행하는 가이드로 사용되며, 고해상도(HR) 출력을 정밀하게 개선한다.
• 디퓨전 모델은 역노이즈 제거 과정에서 노이즈를 예측하도록 훈련되지만, 최종 출력은 이미지 예측 손실을 사용하여 생성되며, 이는 인지적 품질 향상에 기여한다.
• 이 프레임워크는 기존의 SR 모델에 후처리 단계로 적용되어, 아키텍처 변경 최소화로 빠른 추론을 가능하게 한다.
• 이 방법은 다양한 스케일 팩터를 지원하며, Set5, Set14, Urban100, BSD100, Manga109 등의 다양한 벤치마크에서 평가된다.

Figure 1 : Illustration of our method. The model contains a stochastic forward diffusion process, gradually adding noise to an $\bm{I}^{HR}$ image. And a deterministic denoise process is applied to recover high-resolution and realistic images $\bm{I}^{SR}$ corresponding to $\bm{I}^{LR}$ images.

실험 결과

연구 질문

• RQ1 사전 초해상도 이미지를 조건부 입력으로 사용하면 디퓨전 기반 초해상도 복원의 품질 향상에 기여하는가?
• RQ2 조건부 이미지의 선택(예: LR, EDSR, RCAN, SwinIR, 또는 RRDB 출력)이 최종 SR 결과에 어떤 영향을 미치는가?
• RQ3 노이즈 예측이 아닌 이미지 예측을 위해 디퓨전 모델을 훈련시키면 인지적 품질이 향상되는가?
• RQ4 간단한 후처리 디퓨전 프레임워크가 주된 SR 모델을 다시 훈련하지 않고도 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 4× 스케일에서 Urban100 데이터셋에서 ACDMSR는 조건부 모델로 SwinIR을 사용했을 때 PSNR 25.947, SSIM 0.6743을 기록하여 모든 베이스라인 모델을 두 지표에서 모두 앞서며 성능을 뛰어나게 했다.
• RCAN을 조건부 모델로 사용했을 경우 LPIPS 점수는 0.0834로 감소하여 다른 방법들에 비해 훨씬 뛰어난 인지적 품질을 확보했다.
• 이미지 예측 손실 버전이 노이즈 예측 손실 버전보다 PSNR 및 LPIPS 측면에서 모두 뛰어나, SR을 위한 이미지 분포 학습에서의 우수성을 입증했다.
• 다양한 콘텐츠(예: 텍스트, 동물, 인간 등)에 대한 시각적 결과에서 ACDMSR는 베이스라인 방법들보다 더 선명한 질감과 더 현실적인 디테일을 생성하는 것으로 나타났다.
• Set5, Set14, BSD100, Manga109에서 ACDMSR는 일관된 인지적 품질 향상으로 최신 기술 수준의 성능을 달성했으며, 일부 CNN 기반 모델보다 약간 낮은 PSNR를 기록했지만 시각적 현실감은 뛰어나다.

(a) PNSR