[论文解读] Deep joint rain and haze removal from single images

Liang Shen, Zihan Yue+3 more|arXiv (Cornell University)|Jan 21, 2018

Image Enhancement Techniques参考文献 18被引用 4

一句话总结

本文提出一种双分支卷积神经网络 SRR-net 和 DJRHR-net，通过利用哈尔小波分解分离高频雨痕，并将暗通道先验作为特征图以处理类似雾霾的退化，实现单幅图像中雨痕与雾霾的联合去除。该方法在合成数据集和真实世界数据集上均达到最先进性能，SRR-net 在测试集上取得 15.75 的 PSNR，DJDHRR-net 在视觉与定量指标上均优于 SIRR-net、Detail-net 和 JORDER。

ABSTRACT

Rain removal from a single image is a challenge which has been studied for a long time. In this paper, a novel convolutional neural network based on wavelet and dark channel is proposed. On one hand, we think that rain streaks correspond to high frequency component of the image. Therefore, haar wavelet transform is a good choice to separate the rain streaks and background to some extent. More specifically, the LL subband of a rain image is more inclined to express the background information, while LH, HL, HH subband tend to represent the rain streaks and the edges. On the other hand, the accumulation of rain streaks from long distance makes the rain image look like haze veil. We extract dark channel of rain image as a feature map in network. By increasing this mapping between the dark channel of input and output images, we achieve haze removal in an indirect way. All of the parameters are optimized by back-propagation. Experiments on both synthetic and real- world datasets reveal that our method outperforms other state-of- the-art methods from a qualitative and quantitative perspective.

研究动机与目标

• 解决从单幅户外图像中同时去除稀疏与密集雨痕以及类似雾霾退化的问题。
• 通过引入基于小波的频域分离与作为可学习特征的暗通道先验，改进现有单幅图像去雨方法。
• 设计一个统一的深度学习框架，通过端到端反向传播联合优化雨痕与雾霾去除。
• 在具有受控雨痕的合成数据集与具有复杂天气退化的现实世界图像上评估性能。

提出的方法

• 使用哈尔小波变换将输入图像分解为四个子带（LL、LH、HL、HH），其中 LL 保留背景信息，HL/LH/HF 分别表示雨痕与边缘特征。
• 将输入图像的暗通道作为卷积神经网络中的一个特征图，通过学习输入与输出暗通道之间的映射关系，实现对雾霾的间接去除。
• 设计两种不同网络结构：SRR-net 用于稀疏雨痕，DJDHRR-net 用于密集雨痕与雾霾共存场景，均采用增长率 K=12、L=3 层的密集块结构。
• 采用 Adam 优化器与反向传播进行端到端训练，联合优化网络所有参数。
• 构建两个数据集：TrainSet A 在干净图像上合成雨痕，TrainSet B 使用 NYU Depth Dataset V2 图像，通过大气散射模型模拟雾霾与雨痕共同退化。
• 使用 PSNR、SSIM 和 NIQE 进行定量评估，PSNR 与 SSIM 越高、NIQE 越低，表示性能越好。

实验结果

研究问题

• RQ1 基于小波的频域分解是否能有效分离单幅图像去雨中的雨痕与背景？
• RQ2 能否将暗通道先验有效整合为深度卷积神经网络中的一个特征图，以同时解决远距离雨痕引起的类似雾霾退化？
• RQ3 双网络架构（SRR-net 用于稀疏雨痕，DJDHRR-net 用于密集雨痕）是否优于单一架构模型？
• RQ4 所提方法在合成数据与真实世界场景下与当前最先进去雨网络相比表现如何？

主要发现

• SRR-net 在合成测试集上达到平均 15.75 的 PSNR，优于 SIRR-net、Detail-net 与 JORDER 的定量指标。
• DJDHRR-net 在重雨与雾霾共存的真实世界图像上取得更优的视觉效果，能有效去除雨痕与类似面纱的退化。
• 消融实验表明，深度为 L=3、增长率 K=12 的网络结构性能最佳，随着深度增加，PSNR 从 14.85 提升至 15.75。
• 该方法的 NIQE 值为 1.42，低于 SIRR-net 的 1.51，表明恢复图像的感知质量更高。
• 将暗通道作为特征图整合后，雾霾去除性能显著提升，尤其在密集雨痕场景下，视觉伪影显著减少。