[论文解读] Towards Unified Deep Image Deraining: A Survey and A New Benchmark

Xiang Chen, Jinshan Pan+2 more|arXiv (Cornell University)|Oct 5, 2023

Image Enhancement Techniques被引用 7

一句话总结

本文提出了一套统一的单图去雨评估框架，引入了HQ-RAIN基准数据集，包含5,000对高分辨率、逼真的合成雨痕图像，以减少域差距。该工作建立了两种标准化评估路径——混合训练与独立训练，实现去雨模型的公平、可复现比较，并发布了在线平台以支持持续的基准测试与模型评估。

ABSTRACT

Recent years have witnessed significant advances in image deraining due to the kinds of effective image priors and deep learning models. As each deraining approach has individual settings (e.g., training and test datasets, evaluation criteria), how to fairly evaluate existing approaches comprehensively is not a trivial task. Although existing surveys aim to review of image deraining approaches comprehensively, few of them focus on providing unify evaluation settings to examine the deraining capability and practicality evaluation. In this paper, we provide a comprehensive review of existing image deraining method and provide a unify evaluation setting to evaluate the performance of image deraining methods. We construct a new high-quality benchmark named HQ-RAIN to further conduct extensive evaluation, consisting of 5,000 paired high-resolution synthetic images with higher harmony and realism. We also discuss the existing challenges and highlight several future research opportunities worth exploring. To facilitate the reproduction and tracking of the latest deraining technologies for general users, we build an online platform to provide the off-the-shelf toolkit, involving the large-scale performance evaluation. This online platform and the proposed new benchmark are publicly available and will be regularly updated at http://www.deraining.tech/.

研究动机与目标

• 为解决图像去雨研究中缺乏标准化评估协议的问题，该问题导致各研究结果不一致且难以比较。
• 通过创建高质量、逼真的基准数据集，提升图像和谐度与分辨率，减少合成雨图与真实雨图之间的域差距。
• 建立两条并行评估路径——混合训练与独立训练，以实现去雨模型性能的公平、系统化比较。
• 提供一个公开可访问的在线平台，支持去雨模型的持续评估与追踪，保障可复现性并实现进度监控。
• 识别图像去雨领域的开放挑战与未来研究方向，尤其关注退化建模、模型效率以及与高层视觉任务的集成。

提出的方法

• 提出一种基于图像融合的新型雨图生成方法，合成自然融入背景的逼真雨痕，尤其在天空区域表现更佳。
• 构建了包含5,000对高分辨率图像（含雨图与真实干净图）的HQ-RAIN基准，强调视觉真实感、多样性与图像对齐。
• 设计两种标准化评估路径：(1) 混合训练——在多个数据集上联合训练并在所有数据集上测试；(2) 独立训练——在独立数据集上训练并在对应测试集上评估。
• 实施统一的评估协议，使用一致的指标（PSNR、SSIM）在RGB与Y通道上进行评估，并采用标准化工具（如OpenCV）以确保可复现性。
• 开发了位于http://www.deraining.tech/的在线评估平台，用于托管基准、支持即插即用模型评估，并支持定期更新。
• 对100余篇去雨相关论文进行了全面调查，分析数据集使用模式，并识别出训练/测试数据关系中的不一致性。

实验结果

研究问题

• RQ1 如何建立统一的评估协议，以实现在不同训练与测试设置下对图像去雨模型的公平且一致的比较？
• RQ2 现有合成基准（如Rain100L、Rain100H）在真实感、图像和谐度与分辨率方面存在哪些关键局限？如何加以改进？
• RQ3 合成雨图与真实雨图之间的域差距在多大程度上影响模型泛化能力？如何通过改进数据合成方法来最小化该差距？
• RQ4 不同的训练策略（混合训练 vs. 独立训练）如何影响去雨模型的报告性能？哪种更贴近真实世界部署场景？
• RQ5 图像去雨领域未来最具前景的研究方向是什么？尤其关注退化建模、模型效率以及与高层视觉任务的集成。

主要发现

• HQ-RAIN基准由于其高分辨率、逼真的雨痕以及背景融合的和谐性，显著减少了合成雨图与真实雨图之间的域差距。
• 所提出的统一评估框架，结合两条标准化评估路径，实现了公平且可复现的性能比较，解决了以往研究中因混合或不匹配的训练/测试数据导致的不一致问题。
• 定量分析表明，采用统一协议训练的模型展现出更可靠、可比的性能指标，PSNR与SSIM结果在不同评估设置下保持一致。
• 位于http://www.deraining.tech/的在线评估平台支持实时基准测试与模型追踪，助力持续评估与社区范围的进展监控。
• 调查结果显示，超过70%的现有去雨方法存在训练/测试数据划分不一致的问题，严重削弱了报告性能比较的有效性。
• 未来研究应聚焦于建模复杂退化过程（如非线性雨效）、通过知识蒸馏与神经架构搜索提升模型效率，并推动去雨与高层视觉任务的集成。