[论文解读] Learning Dual Convolutional Neural Networks for Low-Level Vision

Jinshan Pan, Sifei Liu+9 more|arXiv (Cornell University)|May 14, 2018

Image Enhancement Techniques参考文献 30被引用 26

一句话总结

本文提出DualCNN，一种双分支卷积神经网络，通过联合学习图像结构与细节，实现低层次视觉任务的性能提升。通过将结构与细节估计分离为两个并行分支，DualCNN在超分辨率、去雨、去雾和边缘保持滤波等任务中均优于当前最先进方法，且在各类基准测试中表现一致优异。

ABSTRACT

In this paper, we propose a general dual convolutional neural network (DualCNN) for low-level vision problems, e.g., super-resolution, edge-preserving filtering, deraining and dehazing. These problems usually involve the estimation of two components of the target signals: structures and details. Motivated by this, our proposed DualCNN consists of two parallel branches, which respectively recovers the structures and details in an end-to-end manner. The recovered structures and details can generate the target signals according to the formation model for each particular application. The DualCNN is a flexible framework for low-level vision tasks and can be easily incorporated into existing CNNs. Experimental results show that the DualCNN can be effectively applied to numerous low-level vision tasks with favorable performance against the state-of-the-art methods.

研究动机与目标

• 解决残差学习在低层次视觉任务中的局限性，即上采样过程中结构错误无法被纠正。
• 克服单一网络同时学习低频结构与高频细节的挑战。
• 构建一种灵活、端到端可训练的框架，适用于多种低层次视觉任务，无需针对特定任务重新设计网络结构。
• 通过显式建模结构与细节分解，提升超分辨率、去雨、去雾和滤波任务的性能。
• 证明联合学习结构与细节优于仅使用残差学习，尤其在初始结构不完善时效果更显著。

提出的方法

• 提出一种双分支CNN架构，其中浅层子网络（Net-S）用于结构估计，深层子网络（Net-D）用于细节估计。
• 使用包含结构（ℒs）与细节（ℒd）分量独立正则化项的联合损失函数，对两个分支进行端到端训练。
• 通过形成模型将最终输出重建为每个任务对应的恢复结构与细节分量之和。
• 通过允许两分支采用不同网络架构（如Net-S使用SRCNN或VDSR，Net-D使用SRCNN或VDSR）实现架构灵活性。
• 探索级联变体（先估计结构，再细化细节），但并行双分支设计性能更优。
• 通过任务特定的形成模型，将该框架应用于超分辨率、去雨、去雾和边缘保持滤波等多种任务。

实验结果

研究问题

• RQ1 是否双分支CNN架构通过分离结构与细节学习，能在低层次视觉任务中超越标准残差学习？
• RQ2 当初始结构（如双三次上采样所得）包含低频误差时，联合估计结构与细节是否能带来性能提升？
• RQ3 两分支中网络架构的选择如何影响性能，特别是在一个分支浅层而另一个分支深层时？
• RQ4 DualCNN框架是否可在无需架构重设计的前提下，有效应用于多种低层次视觉任务？
• RQ5 具有结构与细节独立正则化项的双组成损失函数对最终性能有何影响？

主要发现

• DualCNN在图像超分辨率任务中达到SOTA性能，在×4上采样时Set5数据集的PSNR达到30.3690，优于SRCNN（30.1496）和VDSR。
• 在图像去雨任务中，DualCNN在合成雨天数据集上PSNR达到24.11，优于SDCNN-S（22.42）和SDCNN-D（23.58），即使两分支架构相同。
• 引入独立的正则化损失ℒs与ℒd后，去雾性能显著提升，平均PSNR从21.13提高至26.43，SSIM从0.7449提升至0.9108。
• 并行双分支设计的收敛速度与SRCNN和VDSR相当，表明尽管存在两个分支，但训练稳定性未受影响。
• 级联结构（先结构后细节）的性能劣于并行DualCNN，证实了联合学习的优势。
• 当两分支使用相同架构（如SRCNN）时，DualCNN仍优于单分支版本，表明即使组件相同，双路径学习仍具优势。