[논문 리뷰] Synthesizing Realistic Image Restoration Training Pairs: A Diffusion Approach

Tao Yang, Peiran Ren외 2명|arXiv (Cornell University)|2023. 03. 13.

Advanced Image Processing Techniques인용 수 6

한 줄 요약

이 논문은 사전 훈련된 노이즈 제거 확산 확률 모델(DDPM)을 활용하여 수작업으로 설계된 열악한 품질(LQ) 이미지 출력을 정교화함으로써 실제 품질이 높고 낮은 이미지 복원 훈련 쌍을 합성하는 새로운 확산 기반 방법을 제안한다. 이 방법은 합성된 이미지와 실제 세계의 LQ 이미지 간의 분포 간 격차를 크게 줄여, 블라인드 이미지 복원 및 초해상도 분야에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In supervised image restoration tasks, one key issue is how to obtain the aligned high-quality (HQ) and low-quality (LQ) training image pairs. Unfortunately, such HQ-LQ training pairs are hard to capture in practice, and hard to synthesize due to the complex unknown degradation in the wild. While several sophisticated degradation models have been manually designed to synthesize LQ images from their HQ counterparts, the distribution gap between the synthesized and real-world LQ images remains large. We propose a new approach to synthesizing realistic image restoration training pairs using the emerging denoising diffusion probabilistic model (DDPM). First, we train a DDPM, which could convert a noisy input into the desired LQ image, with a large amount of collected LQ images, which define the target data distribution. Then, for a given HQ image, we synthesize an initial LQ image by using an off-the-shelf degradation model, and iteratively add proper Gaussian noises to it. Finally, we denoise the noisy LQ image using the pre-trained DDPM to obtain the final LQ image, which falls into the target distribution of real-world LQ images. Thanks to the strong capability of DDPM in distribution approximation, the synthesized HQ-LQ image pairs can be used to train robust models for real-world image restoration tasks, such as blind face image restoration and blind image super-resolution. Experiments demonstrated the superiority of our proposed approach to existing degradation models. Code and data will be released.

연구 동기 및 목표

• 감독 기반 이미지 복원 훈련을 위한 실제적이고 정렬된 HQ-LQ 이미지 쌍을 확보하는 데 도전한다.
• 모델의 일반화 능력을 제한하는 합성된 LQ 이미지와 실제 세계의 열악한 이미지 간의 분포 격차를 줄인다.
• 복잡한 실제 세계의 열악한 품질을 포착하지 못하는 수작업으로 설계된 열악한 품질 모델의 한계를 극복한다.
• 고품질의 합성 훈련 데이터를 통해 블라인드 이미지 복원 모델의 강건한 훈련을 가능하게 한다.
• 확산 모델이 이미지 복원 데이터 합성의 분포 모델링에 효과적인지 입증한다.

제안 방법

• 실제 세계의 LQ 이미지 대량 데이터셋에 대해 확산 확률 모델(DDPM)을 훈련시어 그들의 기본 데이터 분포를 학습한다.
• 각 HQ 이미지에 대해 표준 수작업 기반 열악한 품질 모델(예: 흐림, 노이즈, 다운샘플링)을 적용하여 초도 LQ 이미지를 생성한다.
• 초기 LQ 이미지에 반복적으로 가우시안 노이즈를 추가하여 실제 LQ 분포에서 벗어나도록 노이즈가 첨가된 입력을 만든다.
• 사전 훈련된 DDPM을 사용해 노이즈가 첨가된 LQ 이미지를 복원하여 실제 세계의 LQ 분포와 밀접하게 일치하는 최종 LQ 이미지를 생성한다.
• 원본 HQ 이미지와 정교화된 LQ 이미지를 조합하여 실제적인 HQ-LQ 훈련 쌍을 형성한다.
• 하류의 이미지 복원 모델(예: RRDB 기반)을 합성된 쌍으로 훈련시켜 실제 세계 데이터에서의 성능을 향상시킨다.

Figure 1 : Illustration of the proposed HQ-LQ image pair synthesis process. Please refer to Sec. 3.1 for details.

실험 결과

연구 질문

• RQ1 확산 모델이 대규모 데이터셋에서 실제 세계의 열악한 품질 이미지 분포를 효과적으로 학습하고 재구성할 수 있는가?
• RQ2 DDPM을 통해 수작업 기반 열악한 품질 이미지를 정교화할 경우, 합성된 이미지와 실제 세계의 LQ 이미지 간의 분포 격차가 어느 정도 감소하는가?
• RQ3 이 확산 기반 방법으로 합성된 HQ-LQ 쌍의 품질이 기존의 열악한 품질 모델이 생성한 것과 비교해 하류의 이미지 복원 작업에서 어떻게 다른가?
• RQ4 합성된 쌍으로 훈련된 모델이 실세계 이미지 복원 벤치마크(예: 블라인드 얼굴 복원, 블라인드 초해상도)에 더 잘 일반화되는가?
• RQ5 제안된 방법이 블라인드 이미지 복원 및 초해상도 분야에서 주관적 및 정량적 지표에 어떤 영향을 미치는가?

주요 결과

• 재훈련된 RRDB 기반 모델(RRDB+)은 FID, PSNR, SSIM 지표에서 Real-ESRGAN을 능가하면서도 유사한 LPIPS 점수를 유지하여 복원 품질 향상을 입증한다.
• 사용자 연구 결과, RRDB+는 블라인드 얼굴 복원에서 기준 모델보다 유의미하게 선호되었으며, 70%의 투표가 합성 데이터로 훈련된 모델을 지지했다.
• 블라인드 초해상도 작업에서 RRDB+는 사용자 선호도 조사에서 가장 높은 순위 1 투표 수(가장 선호됨)를 기록했고, 가장 낮은 순위 5 투표 수를 기록하여 뛰어난 주관적 품질을 보였다.
• 시각적 비교 결과, RRDB+는 BSRGAN 및 Real-ESRGAN과 같은 경쟁 기법들에 비해 더 선명한 세부 정보, 더 나은 구조 보존, 더 적은 잡음과 아티팩트를 생성한다.
• 실제 세계의 LQ 이미지와 합성된 이미지 간의 분포 격차가 효과적으로 줄어들었음을 실증적으로 입증하였으며, 이는 실제 세계 테스트 세트에서의 성능 향상과 사용자 평가로 확인되었다.
• 이 방법은 일반화 가능하다: 사용자는 도메인 특화된 LQ 데이터셋에 대해 자체 DDPM을 훈련시켜 전문화된 이미지 복원 작업에 맞는 맞춤형 훈련 쌍을 생성할 수 있다.

Figure 2 : Sample face and natural scene images in our collected degraded image dataset (DID).