[论文解读] Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration

Xing Liu, Masanori Suganuma+2 more|arXiv (Cornell University)|Mar 21, 2019

Advanced Image Processing Techniques参考文献 58被引用 17

一句话总结

本文提出双路残差网络（DuRN），引入一种新颖的“双路残差连接”机制，实现残差网络中不同模块之间成对操作（如上采样/下采样或大核/小核卷积）的交互。通过使用包含两个可配置操作容器的模块化双路残差模块（DuRB），该架构拓展了隐式路径的多样性，在九个数据集上的五个图像恢复任务中实现了最先进性能，且无需对抗性训练或循环结构。

ABSTRACT

In this paper, we study design of deep neural networks for tasks of image restoration. We propose a novel style of residual connections dubbed "dual residual connection", which exploits the potential of paired operations, e.g., up- and down-sampling or convolution with large- and small-size kernels. We design a modular block implementing this connection style; it is equipped with two containers to which arbitrary paired operations are inserted. Adopting the "unraveled" view of the residual networks proposed by Veit et al., we point out that a stack of the proposed modular blocks allows the first operation in a block interact with the second operation in any subsequent blocks. Specifying the two operations in each of the stacked blocks, we build a complete network for each individual task of image restoration. We experimentally evaluate the proposed approach on five image restoration tasks using nine datasets. The results show that the proposed networks with properly chosen paired operations outperform previous methods on almost all of the tasks and datasets.

研究动机与目标

• 通过利用上采样/下采样或大核/小核卷积等成对操作的潜力，改进深度神经网络架构在图像恢复任务中的表现。
• 设计一种新型残差连接方式，实现成对操作在不同模块之间的跨模块交互，提升残差网络中隐式路径的多样性。
• 开发一种模块化构建块（DuRB），支持任意成对操作，并实现多种图像恢复任务中灵活的网络构建。
• 通过实证验证所提架构在多样化图像恢复基准上的有效性，展示一致的性能提升。

提出的方法

• 提出一种名为“双路残差连接”的新型残差连接方式，允许早期模块中的任意第一操作与后期模块中的任意第二操作配对。
• 设计一种双路残差模块（DuRB），包含两个用于插入成对操作的容器，实现灵活且可复用的网络设计。
• 采用残差网络的“展开”视角（Veit et al.）分析隐式路径，表明双路残差连接可增加模块间有效操作对的数量。
• 通过堆叠DuRB并选择合适的成对操作（如去雨任务中使用空洞卷积，去噪任务中使用对称卷积）构建特定任务的网络（DuRN）。
• 采用SSIM与L1损失的加权和进行训练，避免使用对抗性或循环组件，以保持训练稳定性。
• 在去雨任务中采用编码器-解码器结构，结合DuRB-S（用于基于注意力的定位）与DuRB-P（用于感受野扩展）的混合设计。

实验结果

研究问题

• RQ1 一种支持操作跨模块配对的新型残差连接方式是否能提升图像恢复性能？
• RQ2 双路残差连接带来的隐式路径数量增加，如何影响特征学习与任务性能？
• RQ3 具有两个可配置操作容器的模块化构建块（DuRB）是否能在多种图像恢复任务中实现良好泛化？
• RQ4 所提架构是否能在不使用对抗性训练或循环模块的情况下超越现有最先进方法？
• RQ5 针对不同恢复任务，哪些特定的成对操作组合能取得最优性能？

主要发现

• 所提出的DuRN-S-P网络在RainDrop数据集上优于Qian等人[32]的最先进方法，在TestSetA上达到31.24 dB PSNR与0.9259 SSIM。
• 在去雨任务的DDN-Data与DID-MDN-Data基准上，DuRN-S模型分别取得31.30 dB与33.21 dB PSNR，优于包括RESCAN与NLEDN在内的先前最先进方法。
• DuRN-S-P网络在RainDrop数据集的TestSetB上达到25.32 dB PSNR与0.8173 SSIM，表明其在更具挑战性的测试样本上也具备强大泛化能力。
• 该方法在九个数据集上的五项图像恢复任务（高斯噪声去除、运动模糊去除、雨痕去除、超分辨率、JPEG伪影减少）中均实现一致的性能提升。
• 该架构在未使用对抗性训练或循环网络的情况下取得这些成果，凸显双路残差连接设计本身的高效性。
• 消融研究证实，双路残差连接机制相比标准残差连接或成对模块设计，能实现更丰富的特征交互，从而带来性能提升。