[논문 리뷰] Rethinking Real-world Image Deraining via An Unpaired Degradation-Conditioned Diffusion Model

Yiyang Shen, Mingqiang Wei외 3명|arXiv (Cornell University)|2023. 01. 23.

Generative Adversarial Networks and Image Synthesis인용 수 9

한 줄 요약

RainDiffusion은 비확산 트랜스레이션기를 사용하여 쌍 데이터를 생성하고 다중 스케일 확산 브랜치를 통해 점진적으로 강우를 제거하며 실제 세계의 깨끗/강우 이미지 쌍이 필요하지 않은 최초의 확산-모델 기반의 완전 무감독 프레임워크이다.

ABSTRACT

Recent diffusion models have exhibited great potential in generative modeling tasks. Part of their success can be attributed to the ability of training stable on huge sets of paired synthetic data. However, adapting these models to real-world image deraining remains difficult for two aspects. First, collecting a large-scale paired real-world clean/rainy dataset is unavailable while regular conditional diffusion models heavily rely on paired data for training. Second, real-world rain usually reflects real-world scenarios with a variety of unknown rain degradation types, which poses a significant challenge for the generative modeling process. To meet these challenges, we propose RainDiff, the first real-world image deraining paradigm based on diffusion models, serving as a new standard bar for real-world image deraining. We address the first challenge by introducing a stable and non-adversarial unpaired cycle-consistent architecture that can be trained, end-to-end, with only unpaired data for supervision; and the second challenge by proposing a degradation-conditioned diffusion model that refines the desired output via a diffusive generative process conditioned by learned priors of multiple rain degradations. Extensive experiments confirm the superiority of our RainDiff over existing unpaired/semi-supervised methods and show its competitive advantages over several fully-supervised ones.

연구 동기 및 목표

• 확산 모델을 사용하여 쌍 데이터 없이 실세계 이미지 강우 제거를 연구한다.
• Cycle-일치성과 비확산 트랜스레이션기를 통해 초기 쌍 데이터를 생성하여 강우 제거를 위한 학습 데이터 부족 문제를 해결한다.
• 다중 스케일 확산 priors를 활용해 다양한 다중 스케일의 비 형태를 모델링하고 강우 제거 품질을 향상한다.
• 비적대적 학습 패러다임으로Synthetic 및 실제 강우 데이터셋에서 최첨단 성능을 입증한다.

제안 방법

• RainDiffusion을 도입한다. 두 개의 분기 프레임워크: 비확산 변환 분기(NTB)와 확산 변환 분기(DTB).
• NTB는 사이클 일치성의 비확산 생성기를 사용해 적대적 학습 없이 확산 학습을 위한 초기 깨끗한/강우 이미지 쌍을 생성한다.
• DTB는 다중 스케일 확산 모델을 이용해 강우 제거 및 강우 생성에 대해 조건부 역 확산을 수행하며, 스케일 인지 주의(attention-based fusion)를 도입해 다중 스케일 정보를 융합한다.
• 강우 제거를 위한 p_theta(x_{0:T}|x_tilde) 조건부 역 확산 과정을 채택하고, 사이클-일치성 및 확산 기반 디노이징 손실을 포함하는 하이브리드 손실로 학습한다.
• DTB에서 이미지의 다중 스케일 다운샘플링과 스케일별 노이즈 추정기를 도입해 주의 기반 융합으로 스케일 간 패턴을 포착한다.

실험 결과

연구 질문

• RQ1 확산 모델이 쌍 데이터 없이 실세계의 강우 이미지를 강우 제거할 수 있는가?
• RQ2 다중 스케일 강우 패턴을 확산 기반 강우 제거에 통합해 일반화 성능을 향상시킬 수 있는가?
• RQ3 비지도, 비대립 학습 패러다임이 실세계 강우 제거에서 GAN 기반 및 다른 비지도 방법보다 우수한가?
• RQ4 NTB가 생성한 쌍 데이터와 DTB의 다중 스케일 priors가 최종 강우 제거 품질에 어떤 영향을 미치는가?

주요 결과

• RainDiffusion은 8종의 비지도/준지도 방법보다 우수한 성능을 달성하고 7종의 완전 지도 방법과도 경쟁력 있는 결과를 벤치마크 데이터에서 보인다.
• 실세계 데이터인 SPA-Data에서 RainDiffusion은 PSNR/SSIM면에서 경쟁 방법을 능가하고 비지도 기준보다 색상과 구조를 더 잘 보존한다.
• 제거 연구에서 NTB, DTB, 사이클 손실, 다중 스케일 확산의 모든 구성요소가 최종 향상에 기여함을 확인한다.
• 주의 기반 융합을 갖춘 다중 스케일 확산 모델이 단일 스케일 확산 기반 및 다른 다중 스케일 융합 방법보다 우수하다.
• 암시적 샘플링은 품질 손실 없이 확산 추론 속도를 가속화한다.
• RainDiffusion은 비짝 데이터로도 보지 못한 unseen 실세계 강우 패턴에 강한 일반화 능력을 보인다.