[论文解读] EfficientDeRain: Learning Pixel-wise Dilation Filtering for High-Efficiency Single-Image Deraining

Qing Guo, Jingyang Sun+5 more|arXiv (Cornell University)|Sep 19, 2020

Image Enhancement Techniques参考文献 43被引用 17

一句话总结

该论文提出 EfficientDeRain，一种无需模型、单阶段的去雨方法，通过可学习的逐像素膨胀滤波，实现每张图像低于10毫秒的实时推理（比SOTA方法如RCDNet快80多倍），同时保持高去雨性能。此外，该方法还引入了 RainMix 数据增强策略，有效弥合了模拟数据到真实雨天图像的域差距。

ABSTRACT

Single-image deraining is rather challenging due to the unknown rain model. Existing methods often make specific assumptions of the rain model, which can hardly cover many diverse circumstances in the real world, making them have to employ complex optimization or progressive refinement. This, however, significantly affects these methods' efficiency and effectiveness for many efficiency-critical applications. To fill this gap, in this paper, we regard the single-image deraining as a general image-enhancing problem and originally propose a model-free deraining method, i.e., EfficientDeRain, which is able to process a rainy image within 10~ms (i.e., around 6~ms on average), over 80 times faster than the state-of-the-art method (i.e., RCDNet), while achieving similar de-rain effects. We first propose the novel pixel-wise dilation filtering. In particular, a rainy image is filtered with the pixel-wise kernels estimated from a kernel prediction network, by which suitable multi-scale kernels for each pixel can be efficiently predicted. Then, to eliminate the gap between synthetic and real data, we further propose an effective data augmentation method (i.e., RainMix) that helps to train network for real rainy image handling.We perform comprehensive evaluation on both synthetic and real-world rainy datasets to demonstrate the effectiveness and efficiency of our method. We release the model and code in https://github.com/tsingqguo/efficientderain.git.

研究动机与目标

• 为解决现有去雨方法依赖复杂优化或渐进式优化导致的效率低下问题。
• 消除对特定雨模态假设的依赖，从而提升在真实世界场景中的泛化能力。
• 开发一种高效、无需模型的去雨解决方案，适用于自动驾驶等实时应用场景。
• 通过有效的数据增强技术，弥合合成雨天图像与真实雨天图像之间的域差距。

提出的方法

• 提出逐像素膨胀滤波，其中每个像素由一个由专用核预测网络预测的多尺度核进行处理。
• 采用轻量化、单阶段架构，无需迭代优化或渐进式优化，从而实现高推理速度。
• 引入 RainMix，一种数据增强技术，通过混合合成雨天图像与真实雨天图像块，提升模型在真实世界数据上的鲁棒性。
• 使用结合L1与SSIM的混合损失函数，以平衡结构保留与像素级精度。
• 端到端训练核预测网络，以根据局部图像内容自适应地估计每个像素的空间可变核。
• 通过空洞卷积应用学习到的核，有效抑制多尺度雨痕，同时保留物体边界。

实验结果

研究问题

• RQ1 无显式雨模态假设的模型无关、单阶段去雨方法是否能在不依赖复杂优化的前提下，同时实现高性能与超高速？
• RQ2 具有可学习、空间自适应核的逐像素膨胀滤波，在抑制多样化雨痕方面效果如何？
• RQ3 与标准数据增强相比，RainMix在提升模型对真实世界雨天图像泛化能力方面的效果如何？
• RQ4 不同去雨架构中，PSNR/SSIM性能与推理速度之间的权衡关系如何？

主要发现

• EfficientDeRain 实现每张图像平均6毫秒的推理时间，比SOTA方法RCDNet快80多倍。
• 采用 RainMix、膨胀滤波与L1+SSIM联合损失的最终模型变体（v4）在 Rain100H 数据集上达到最高的PSNR与SSIM，证明了所有组件的有效性。
• 增加膨胀结构仅使推理时间增加约1.5毫秒，表明其对性能的提升付出的效率代价极低。
• 可视化结果表明，RainMix 显著增强了模型去除真实世界图像中密集、多样的雨痕的能力，而标准训练则难以应对此类情况。
• 在SPA真实世界数据集上，未使用RainMix训练的模型始终残留雨痕（红色箭头处明显可见），证实RainMix在真实世界鲁棒性中的关键作用。
• 消融实验表明，每个组件——膨胀滤波、RainMix与联合损失——均对性能有逐步贡献，完整流水线达到最优效果。