[论文解读] Lightweight Pyramid Networks for Image Deraining

Xueyang Fu, Borong Liang+3 more|arXiv (Cornell University)|May 16, 2018

Image Enhancement Techniques参考文献 38被引用 10

一句话总结

本文提出轻量级金字塔网络（LPNet），一种参数高效的深度学习框架，用于单图去雨，通过高斯-拉普拉斯图像金字塔将任务分解为更简单的子问题。通过在每个金字塔层级应用浅层、残差和递归子网络，LPNet 在参数少于 8,000 个的情况下实现了最先进（SOTA）的去雨性能，可在资源受限设备上高效部署，同时具备向其他低层次视觉任务泛化的能力。

ABSTRACT

Existing deep convolutional neural networks have found major success in image deraining, but at the expense of an enormous number of parameters. This limits their potential application, for example in mobile devices. In this paper, we propose a lightweight pyramid of networks (LPNet) for single image deraining. Instead of designing a complex network structures, we use domain-specific knowledge to simplify the learning process. Specifically, we find that by introducing the mature Gaussian-Laplacian image pyramid decomposition technology to the neural network, the learning problem at each pyramid level is greatly simplified and can be handled by a relatively shallow network with few parameters. We adopt recursive and residual network structures to build the proposed LPNet, which has less than 8K parameters while still achieving state-of-the-art performance on rain removal. We also discuss the potential value of LPNet for other low- and high-level vision tasks.

研究动机与目标

• 解决由于参数量过高，导致深度神经网络难以在移动设备和边缘设备上部署用于图像去雨的问题。
• 通过利用领域特定的图像金字塔分解，降低单图去雨的复杂度，从而在每个尺度上简化学习过程。
• 设计一种轻量级网络架构，在显著减少模型大小和推理成本的同时，保持高性能的去雨效果。
• 探索所提出架构在其他低层次视觉任务（如去噪和伪影去除）中的泛化潜力。
• 将去雨作为预处理步骤，以提升下游高层视觉任务（如雨天环境下的目标检测）的性能。

提出的方法

• 应用高斯-拉普拉斯金字塔分解，将雨天图像拆分为多尺度分量，从而在每个层级上简化学习任务。
• 使用轻量级残差网络并引入递归模块，实现层间参数共享，最大限度减少总参数量。
• 在每个子网络上独立训练其对应的金字塔层级，以预测干净的高斯金字塔层。
• 通过合并所有金字塔层级预测的干净层，重建最终的去雨图像。
• 采用结合 SSIM 和 ℓ₁ 损失的混合损失函数，以保留结构细节并避免过度平滑。
• 在每个子网络中引入跳跃连接，以改善训练过程中的梯度流动和特征传播。

实验结果

研究问题

• RQ1 高斯-拉普拉斯金字塔分解是否能显著简化单图去雨中的学习问题？
• RQ2 参数少于 8,000 个的轻量级、浅层网络在多大程度上可实现最先进（SOTA）的去雨性能？
• RQ3 所提出的 LPNet 架构在其他低层次视觉任务（如图像去噪和 JPEG 伪影去除）中的泛化能力如何？
• RQ4 LPNet 是否能提升下游高层视觉系统（如雨天环境下的目标检测）的性能？
• RQ5 结合 SSIM 和 ℓ₁ 损失对去雨结果的视觉质量与结构保留有何影响？

主要发现

• LPNet 仅使用 7,548 个参数，就在单图去雨任务中实现了最先进（SOTA）的性能，远少于现有深度网络。
• 该网络在保持极小模型尺寸的同时，实现了高质量的去雨效果，适用于移动设备和嵌入式系统部署。
• 跳跃连接的使用降低了训练损失并加速了收敛，训练曲线对比结果已验证该效果。
• 混合损失函数（SSIM + ℓ₁）相比基于 ℓ₂ 的损失，能生成更清晰的结果，更好地保留边缘和纹理细节。
• LPNet 在其他图像复原任务中表现出良好的泛化能力，在图像去噪和 JPEG 伪影去除任务中均展现出优异性能。
• 当与 Faster R-CNN 集成后，LPNet 显著提升了雨天环境下目标检测的准确率，且对 1024×1024 图像的推理时间仅增加 0.3 秒。