[论文解读] A Deep Tree-Structured Fusion Model for Single Image Deraining

Xueyang Fu, Qi Qi+4 more|arXiv (Cornell University)|Nov 21, 2018

Image Enhancement Techniques参考文献 31被引用 4

一句话总结

本文提出了一种深度树状结构融合模型，通过在空洞卷积块内部及之间分层融合特征，减少冗余并提升表征学习能力，从而增强单图像去雨效果。该方法仅使用35,427个参数即达到最先进性能，在合成数据集和真实世界数据集上均优于更深的ResNet和DenseNet网络。

ABSTRACT

We propose a simple yet effective deep tree-structured fusion model based on feature aggregation for the deraining problem. We argue that by effectively aggregating features, a relatively simple network can still handle tough image deraining problems well. First, to capture the spatial structure of rain we use dilated convolutions as our basic network block. We then design a tree-structured fusion architecture which is deployed within each block (spatial information) and across all blocks (content information). Our method is based on the assumption that adjacent features contain redundant information. This redundancy obstructs generation of new representations and can be reduced by hierarchically fusing adjacent features. Thus, the proposed model is more compact and can effectively use spatial and content information. Experiments on synthetic and real-world datasets show that our network achieves better deraining results with fewer parameters.

研究动机与目标

• 为解决单图像去雨问题，其中雨痕会降低图像质量并影响下游视觉任务。
• 减少深度网络中的特征冗余，因为这会阻碍生成新且有意义的表征。
• 通过参数更少的紧凑网络架构提升去雨性能，优于现有方法。
• 探索树状结构特征融合在捕捉雨天图像中空间与内容信息方面的有效性。
• 证明简单但精心设计的特征融合可超越更深、更复杂的架构。

提出的方法

• 使用多尺度空洞卷积作为基本模块，以捕捉雨痕的空间结构。
• 引入一种树状结构融合机制，分别应用于每个模块内部（空间融合）和模块之间（内容融合）。
• 通过预测雨图与去雨输出之间的残差来应用残差学习。
• 采用MSE与SSIM的联合损失函数，以平衡边缘保持与结构相似性。
• 设计一个轻量级网络，包含8个空洞卷积模块和一个特征提取/重建头，以最小化参数数量。
• 使用标准CNN操作与跳跃连接，以实现有效训练和特征传播。

实验结果

研究问题

• RQ1 一个简单且轻量级的网络，结合分层特征融合，是否能在单图像去雨任务中超越更深、更复杂的架构？
• RQ2 树状结构特征融合在减少冗余和提升去雨任务的表征学习方面有多有效？
• RQ3 结合MSE与SSIM损失在多大程度上提升了去雨图像的视觉质量和结构保真度？
• RQ4 一个参数少于36,000的紧凑网络是否能在合成与真实世界去雨基准上均实现最先进性能？
• RQ5 所提出的融合机制与ResNet中的标准跳跃连接及DenseNet中的密集连接相比如何？

主要发现

• 在Rain100H数据集上，所提模型的PSNR达到27.46，优于ResNet（浅层：25.71，深层：28.03）和DenseNet（浅层：25.87，深层：28.24），且在参数量相近的情况下表现更优。
• 在Rain1400数据集上，模型达到PSNR 31.32和SSIM 0.92，表明其在大规模真实世界雨天图像上表现强劲。
• 模型仅使用35,427个参数，显著少于深层配置下的ResNet（186,483）和DenseNet（232,883），同时性能更优。
• 视觉对比显示，MSE + SSIM联合损失产生的结果更干净，对比度更好，且伪影更少，优于单独使用任一损失函数。
• 特征图可视化结果表明，树状结构模型生成的特征更具可区分性且语义意义更强，优于更深的ResNet与DenseNet变体。
• 该模型在合成数据集（Rain100H）和真实世界数据集（Rain1400、Rain1200）上均达到最先进性能，验证了其鲁棒性与泛化能力。