[論文レビュー] Unified Removal of Raindrops and Reflections: A New Benchmark and A Novel Pipeline

Xingyu Liu, Zewei He+5 more|arXiv (Cornell University)|Mar 17, 2026

Image Enhancement Techniques被引用数 0

ひとこと要約

要約: 本論文は unified raindrop and reflection removal (UR3) タスクを定義し、実写ショットの RainDrop and ReFlection (RDRF) データセットを導入、拡散ベースのパイプライン DiffUR3 を提案して、二段階設計と Modulate&Gate 制御モジュールで両方の劣化を共同で除去する。

ABSTRACT

When capturing images through glass surfaces or windshields on rainy days, raindrops and reflections frequently co-occur to significantly reduce the visibility of captured images. This practical problem lacks attention and needs to be resolved urgently. Prior de-raindrop, de-reflection, and all-in-one models have failed to address this composite degradation. To this end, we first formally define the unified removal of raindrops and reflections (UR$^3$) task for the first time and construct a real-shot dataset, namely RainDrop and ReFlection (RDRF), which provides a new benchmark with substantial, high-quality, diverse image pairs. Then, we propose a novel diffusion-based framework (i.e., DiffUR$^3$) with several target designs to address this challenging task. By leveraging the powerful generative prior, DiffUR$^3$ successfully removes both types of degradations. Extensive experiments demonstrate that our method achieves state-of-the-art performance on our benchmark and on challenging in-the-wild images. The RDRF dataset and the codes will be made public upon acceptance.

研究の動機と目的

• 実用的な現実世界タスクとして、raindropsと反射の同時除去をUR3として導入する。
• クリーンなグラウンドトゥルースを持つ raindrop-reflection 劣化画像の実写ショットデータセット (RDRF) を作成する。
• 生成事前分布を用いた二段階の拡散ベースのフレームワーク (DiffUR3) を開発し、両劣化を共同除去する。
• 二重条件信号を効果的に融合し、圧縮アーチファクト後の忠実度を向上させるモジュールを設計する。
• RDRFと難解な実世界画像で最先端の性能を示す包括的な実験を提供する。

提案手法

• Stage I: Restoration は DRSformer を用いて low-quality 入力 I_lq から予備的なクリーン画像 I_s を出力。
• Stage II: Stable Diffusion に基づく多条件生成が I_lq と I_s の両方を conditioning signal として VAE 潜在空間へエンコード。
• Modulate&Gate モジュールは、ノイズのある拡散潜在 z_t と相互作用を用いるクロスアテンションベースの相互作用と空間注意を介して、二重条件潜在 I_lq および I_s を適応的に融合して修正条件潜在を生成。
• Fidelity Encoder を追加し、ゼロ畳み込みを通じて VAE デコーダへ忠実度特徴を組み込み、グラウンドトゥルース再構成損失 (L1) によって歪みを抑制。
• 出力カラーを基準と整合させるためにカラー正規化による色調整を適用。

実験結果

リサーチクエスチョン

• RQ1 雨滴除去と反射除去を二つの個別タスクとしてではなく、統一的なフレームワークで効果的に解決できるか？
• RQ2 多条件入力を持つ拡散事前分布ベースのパイプラインは、連結連鎖や単一劣化法を超えて実世界の UR3 データで優れるか？
• RQ3 UR3 の再現性と知覚品質を高める上で、Modulate&Gate, Fidelity Encoder のどの要素が重要か？
• RQ4 DiffUR3 は RDRF のベンチマークを超えた実世界の野外・ raindropのみのシナリオへどの程度汎用化するか？
• RQ5 高品質な実写データが頑健な UR3 モデルの学習に及ぼす影響はどの程度か？

主な発見

Type	Method	Venue	RDRF-testing	PSNR	SSIM	LPIPS	MUSIQ	CLIPIQA+	HyperIQA
Ours	DiffUR 3 50	-	29.41	0.9372	0.0813	74.72	0.6705	0.7043

• DiffUR3 は RDRF-testing セットで PSNR、SSIM、LPIPS、ノーリファレンス IQA 指標の全てにおいて最先端の性能を達成。
• Modulate&Gate モジュールは、二つの条件を単純連結や単一条件入力で融合するベースラインと比べて結果を大幅に改善。
• Fidelity Encoder の導入は ablations の中で最良の PSNR、SSIM、LPIPS をもたらし、グラウンドトゥルースへの忠実度が向上。
• 複数のベースライン（雨滴のみ、反射のみ、連結、全てを一体化）と比較して、Stage II と FE を備えた DiffUR3 は定量スコアと視覚品質の双方で一貫して上回る。
• ユーザ調査では、DiffUR3 が RDRF-testing 画像上で他法より専門家に好まれることを示す。
• DiffUR3 は raindrop-only データセットおよび RDRF-wild セットへ一般化し、実世界条件への頑健性を示唆。