[论文解读] A Model-driven Deep Neural Network for Single Image Rain Removal

Hong Wang, Qi Xie+2 more|arXiv (Cornell University)|May 4, 2020

Image Enhancement Techniques参考文献 55被引用 27

一句话总结

该论文提出RCDNet，一种基于模型的深度神经网络，用于单图像去雨，通过卷积字典学习模型整合雨痕的物理先验。通过将邻近梯度算法展开为深度网络结构，RCDNet确保了完全可解释性，每个模块均直接对应算法步骤，在多种合成与真实雨天图像上，其在定量指标和视觉质量方面均达到最先进性能。

ABSTRACT

Deep learning (DL) methods have achieved state-of-the-art performance in the task of single image rain removal. Most of current DL architectures, however, are still lack of sufficient interpretability and not fully integrated with physical structures inside general rain streaks. To this issue, in this paper, we propose a model-driven deep neural network for the task, with fully interpretable network structures. Specifically, based on the convolutional dictionary learning mechanism for representing rain, we propose a novel single image deraining model and utilize the proximal gradient descent technique to design an iterative algorithm only containing simple operators for solving the model. Such a simple implementation scheme facilitates us to unfold it into a new deep network architecture, called rain convolutional dictionary network (RCDNet), with almost every network module one-to-one corresponding to each operation involved in the algorithm. By end-to-end training the proposed RCDNet, all the rain kernels and proximal operators can be automatically extracted, faithfully characterizing the features of both rain and clean background layers, and thus naturally lead to its better deraining performance, especially in real scenarios. Comprehensive experiments substantiate the superiority of the proposed network, especially its well generality to diverse testing scenarios and good interpretability for all its modules, as compared with state-of-the-arts both visually and quantitatively. The source codes are available at \url{https://github.com/hongwang01/RCDNet}.

研究动机与目标

• 解决现有基于深度学习的去雨方法中可解释性不足及物理先验整合不充分的问题。
• 设计一种深度网络架构，通过卷积字典学习显式建模雨痕，反映其重复性与结构化特性。
• 基于邻近梯度下降设计一种优化算法，仅使用简单可实现的操作（如卷积、阈值化与收缩），以实现高效展开为深度网络。
• 确保网络模块与算法步骤之间的一一对应关系，实现网络内部机制的完全可解释性。
• 通过端到端学习物理上合理的雨痕核与背景表征，提升在真实雨天图像上的泛化能力与性能。

提出的方法

• 提出雨痕卷积字典（RCD）模型，通过学习得到的雨痕核与稀疏雨痕图表示雨痕，捕捉其重复的局部模式。
• 设计一种基于RCD优化模型的邻近梯度下降算法，仅使用卷积、阈值化与收缩等简单操作，提升计算效率。
• 将迭代算法展开为一种称为RCDNet的深度残差网络架构，其中每一层精确对应算法中的一个操作。
• 端到端训练RCDNet，联合学习雨痕核、稀疏雨痕图与背景层，在保持物理合理性的同时适应数据分布。
• 采用可微分公式，使所有组件——雨痕核、邻近算子与背景特征——均可通过反向传播进行优化。
• 采用多尺度残差设计，增强特征表示能力，并在去雨过程中保留精细纹理。

实验结果

研究问题

• RQ1 能否通过将网络模块与算法操作直接映射，设计出具有完全可解释性的单图像去雨深度神经网络？
• RQ2 整合物理先验（特别是雨痕的卷积字典学习模型）对去雨性能与泛化能力有何影响？
• RQ3 在处理多样且复杂的雨痕模式，尤其是在真实世界场景中，基于模型的深度网络是否优于纯粹数据驱动的CNN？
• RQ4 算法步骤与网络层之间的一一对应关系在多大程度上提升了网络的透明度与可靠性？
• RQ5 所学习的雨痕核与邻近算子能否为底层去雨机制提供有意义的洞察？

主要发现

• 在SPA-Data真实世界基准测试中，RCDNet在PSNR（41.47）与SSIM（0.9834）上均达到最高，优于所有SOTA方法，包括PReNet、SPANet与JORDER_E。
• 在Rain100L数据集上，RCDNet实现PSNR 40.00 dB与SSIM 0.9860，无论在合成雨天还是真实雨天条件下，均超越所有对比方法。
• 视觉对比显示，RCDNet能有效去除密集且复杂的雨痕，同时保留精细纹理并最小化伪影，尤其在高密度雨痕模式下表现优异。
• 提取的雨痕核与稀疏图表现出强泛化能力，背景泄漏极少，雨痕与场景层之间分离清晰。
• 网络的可解释性使得可直接分析每个模块的作用，证实去雨过程由学习到的物理先验驱动，而非对训练数据的过拟合。
• RCDNet在Internet-Data（147张无真实标签的真实雨天图像）上保持卓越性能，展现出对未见复杂雨痕模式的强大鲁棒性。