[논문 리뷰] ResDiff: Combining CNN and Diffusion Model for Image Super-Resolution

Shuyao Shang, Zhengyang Shan외 5명|arXiv (Cornell University)|2023. 03. 15.

Advanced Image Processing Techniques인용 수 7

한 줄 요약

ResDiff는 저주파 성분 복원을 위한 사전 훈련된 CNN과 고주파 잔차 예측에 집중하는 주파수 지도 기반 확산 모델을 조합한 단일 이미지 초해상도 분석을 위한 새로운 확산 모델을 제안한다. 노이즈 제거 과정을 CNN의 예측과 잔차 공간을 통해 지도함으로써 ResDiff는 수렴 속도를 가속화하고, 샘플 품질을 향상시키며, 다양성을 높이며, 벤치마크 데이터셋에서 이전의 확산 기반 방법들을 능가한다.

ABSTRACT

Adapting the Diffusion Probabilistic Model (DPM) for direct image super-resolution is wasteful, given that a simple Convolutional Neural Network (CNN) can recover the main low-frequency content. Therefore, we present ResDiff, a novel Diffusion Probabilistic Model based on Residual structure for Single Image Super-Resolution (SISR). ResDiff utilizes a combination of a CNN, which restores primary low-frequency components, and a DPM, which predicts the residual between the ground-truth image and the CNN predicted image. In contrast to the common diffusion-based methods that directly use LR images to guide the noise towards HR space, ResDiff utilizes the CNN's initial prediction to direct the noise towards the residual space between HR space and CNN-predicted space, which not only accelerates the generation process but also acquires superior sample quality. Additionally, a frequency-domain-based loss function for CNN is introduced to facilitate its restoration, and a frequency-domain guided diffusion is designed for DPM on behalf of predicting high-frequency details. The extensive experiments on multiple benchmark datasets demonstrate that ResDiff outperforms previous diffusion based methods in terms of shorter model convergence time, superior generation quality, and more diverse samples.

연구 동기 및 목표

• 직접적인 확산 모델링 방식이 초해상도 복원에서 저주파 및 고주파 성분을 동시에 복구함에 따라 효율성이 떨어지는 문제를 해결하기 위해.
• 저해상도 이미지 공간에서의 무작위 노이즈 생성에만 의존하는 것을 줄임으로써 샘플 품질과 다양성을 향상시키기 위해.
• 사전 훈련된 CNN의 초기 예측을 구조적 사전 지식으로 활용함으로써 훈련 수렴 속도를 가속화하기 위해.
• 확산 과정에서 주파수 도메인 지도를 통해 고주파 성분 생성 능력을 향상시키기 위해.
• 얼굴 및 일반 장면을 포함한 다양한 데이터셋에 대한 일반화 능력을 입증하기 위해.

제안 방법

• ResDiff는 저해상도 이미지의 주요 저주파 성분을 복원하기 위해 사전 훈련된 CNN(SimpleSR)을 사용하여 初기 저해상도 예측을 생성한다.
• 확산 모델은 저해상도 이미지 그 자체가 아니라, 진짜 고해상도 이미지와 CNN 예측 간의 잔차 공간에 조건을 부여한다.
• CNN의 저주파 복원 정확도를 향상시키기 위해 주파수 도메인 기반 손실 함수를 적용한다.
• 주파수 도메인 지도 기반 확산(FD-guided Diffusion) 모듈을 도입하였으며, 이는 FD 정보 분리기와 고주파 지도 기반 교차 attention 모듈로 구성된다.
• FD 정보 분리기는 노이즈가 있는 이미지의 고주파 및 저주파 성분을 분리하여 타겟된 노이즈 제거를 수행한다.
• 고주파 지도 기반 교차 attention 모듈은 확산 모델이 미세한 질감과 고주파 성분을 더 잘 예측할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 CNN 기반의 초기 예측이 확산 기반 초해상도 복원의 효율성과 품질 향상에 기여하는가?
• RQ2 진짜 고해상도 이미지와 CNN 예측 간의 잔차 공간을 통해 확산 과정을 지도하면 수렴 속도가 빨라지고 샘플 품질이 향상되는가?
• RQ3 기존의 표준 확산 조건화 방식과 비교해 주파수 도메인 지도를 활용한 확산 모델이 고주파 성분 생성 능력을 향상시키는가?
• RQ4 기존의 확산 기반 및 비확산 SISR 방법들과 비교해 ResDiff는 성능과 다양성 측면에서 어떻게 성과를 내는가?
• RQ5 ResDiff는 얼굴 및 일반 이미지 벤치마크를 포함한 다양한 데이터셋에 대해 얼마나 잘 일반화되는가?

주요 결과

• Urban100 데이터셋에서 4× 확대 비율로 ResDiff는 PSNR 27.94와 FID 42.35를 기록하여 이전의 모든 확산 기반 방법들을 능가한다.
• DIV2K 데이터셋에서 ResDiff는 PSNR 27.43과 FID 42.35를 기록하였으며, SR3 및 기타 확산 기반 기준 모델과 비교해 두 지표에서 뚜렷한 우월성을 보였다.
• 제거 분석 결과, FD 정보 분리기와 고주파 지도 기반 CA 모듈 각각이 PSNR 및 SSIM 향상에 기여하며, 전체 모델은 FFHQ에서 PSNR 26.73과 SSIM 0.818을 기록했다.
• 이전의 확산 기반 방법들과 비교해 ResDiff는 더 빠른 수렴 속도를 보였으며, 직접 노이즈에서 고해상도 이미지를 생성하는 방법 대비 훈련 시간을 최대 50% 감소시켰다.
• 모델은 더 다양한 샘플을 생성하였으며, FID 점수(예: Urban100에서 42.35)가 낮고, 모드 붕괴가 감소한 것으로 나타난 인지 평가 지표를 통해 이를 뒷받침한다.
• 단순한 양선형 보간 기반 베이스라인조차도 잔차 구조가 직접적인 확산 방식보다 성능 향상을 이끌어내어, 잔차 설계의 유효성을 입증한다.