[논문 리뷰] Unified Removal of Raindrops and Reflections: A New Benchmark and A Novel Pipeline

Xingyu Liu, Zewei He외 5명|arXiv (Cornell University)|2026. 03. 17.

Image Enhancement Techniques인용 수 0

한 줄 요약

본 논문은 통합 강수방울 제거 및 반사 제거(UR3) 작업을 정의하고, 실제 촬영 RainDrop 및 ReFlection(RDRF) 데이터셋을 도입하며, 두 단계 설계와 Modulate&Gate 제어 모듈을 갖춘 확산 기반 파이프라인(DiffUR3)을 제안하여 두 가지 저하 현상을 함께 제거합니다.

ABSTRACT

When capturing images through glass surfaces or windshields on rainy days, raindrops and reflections frequently co-occur to significantly reduce the visibility of captured images. This practical problem lacks attention and needs to be resolved urgently. Prior de-raindrop, de-reflection, and all-in-one models have failed to address this composite degradation. To this end, we first formally define the unified removal of raindrops and reflections (UR$^3$) task for the first time and construct a real-shot dataset, namely RainDrop and ReFlection (RDRF), which provides a new benchmark with substantial, high-quality, diverse image pairs. Then, we propose a novel diffusion-based framework (i.e., DiffUR$^3$) with several target designs to address this challenging task. By leveraging the powerful generative prior, DiffUR$^3$ successfully removes both types of degradations. Extensive experiments demonstrate that our method achieves state-of-the-art performance on our benchmark and on challenging in-the-wild images. The RDRF dataset and the codes will be made public upon acceptance.

연구 동기 및 목표

• raindrop과 reflection 제거를 동시에 요구하는 실용적이고 실제 환경에 맞는 UR3를 Introduce한다.
• 실제 촬영 하강물방울-반사 저하 이미지와 깨끗한 ground truth를 포함하는 real-shot 데이터셋(RDRF)을 만든다.
• 생성 priors를 이용해 두 저하를 함께 제거하는 이중 단계 확산 기반 프레임워크(DiffUR3)를 개발한다.
• 압축 아티팩트 이후 충실도(fidelity)를 개선하기 위해 이중 conditioning 신호를 효과적으로 융합하는 모듈을 설계한다.
• RDRF 및 도전적인 실제 이미지에서 최첨단 성능을 보여주는 포괄적 실험을 제공한다.

제안 방법

• Stage I: Restoration은 DRSformer를 사용하여 저품질 입력 I_lq로부터 예비 클린 이미지 I_s를 생성한다.
• Stage II: Multi-condition generation은 Stable Diffusion을 바탕으로 I_lq와 I_s를 conditioning signal으로 VAE 잠재 공간에 인코딩한다.
• Modulate&Gate 모듈은 교차 주의 기반 상호 작용 및 공간 주의에 의해 듀얼 컨디션 잠재 I_lq와 I_s를 노이즈 확산 잠재 z_t와 적응적으로 융합하여 변조된 컨디션 잠재를 생성한다.
• Fidelity Encoder를 추가하여 VAE 압축으로 인한 왜곡을 완화하고 ground-truth 재구성 손실(L1)을 통해 VAE 디코더에 충실도 특성을 주입한다.
• 참조 색상과 정렬되도록 색 보정을 통해 출력 색상을 보정한다.

실험 결과

연구 질문

• RQ1 강수방울 제거와 반사 제거를 통합된 프레임워크에서 효과적으로 다룰 수 있는가(두 작업을 분리된 두 가지 태스크로 다루지 않고 통합 가능성)?
• RQ2 다중 컨디션 입력을 갖춘 확산 priors 기반 파이프라인이 실제 UR3 데이터에서 cascaded 또는 단일 저하 방법보다 우수한가?
• RQ3 UR3 복원에서 높은 충실도와 주관적 품질을 달성하기 위해 Modulate&Gate, Fidelity Encoder 등의 구성 요소가 얼마나 중요한가?
• RQ4 DiffUR3가 RDRF 벤치마크를 넘어 야생(real-world) 및 raindrop-만 시나리오에 얼마나 일반화되는가?
• RQ5 고퀄리티의 실제 촬영 데이터가 강인한 UR3 모델 학습에 어떤 영향을 미치는가?

주요 결과

유형	방법	장소	RDRF-testing	PSNR	SSIM	LPIPS	MUSIQ	CLIPIQA+	HyperIQA
Ours	DiffUR 3 50	-	29.41	0.9372	0.0813	74.72	0.6705	0.7043

• DiffUR3는 PSNR, SSIM, LPIPS 및 무참조 IQA 지표에서 RDRF-테스트 세트에 대해 최첨단 성능을 달성한다.
• Modulate&Gate 모듈은 듀얼 컨디션을 단순 연결이나 단일 컨디션 입력으로 융합하는 베이스라인보다 결과를 상당히 개선한다.
• Fidelity Encoder의 포함은 ablation 중에서도 PSNR, SSIM, LPIPS를 모두 최상으로 개선하여 ground truth에 대한 충실도가 증가했음을 나타낸다.
• 다수의 베이스라인(raindrop-만, reflection-만, cascaded, all-in-one)과 비교할 때, Stage II 및 FE를 적용한 DiffUR3가 일관되게 더 높은 정량 점수와 더 나은 시각 품질을 제공한다.
• 사용자 연구에서 RDRF-테스트 이미지에서 DiffUR3가 경쟁 방법보다 전문가들에 의해 선호된다는 결과가 나왔다.
• DiffUR3는 raindrop-만 데이터셋 및 RDRF-야생 세트로 일반화되어 실제 조건에 대한 강건성을 시사한다.