[论文解读] Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks with Symmetric Skip Connections

Xiao-Jiao Mao, Chunhua Shen+1 more|arXiv (Cornell University)|Mar 30, 2016

Advanced Image Processing Techniques参考文献 9被引用 1,087

一句话总结

本文提出一个非常深的全卷积编码器-解码器网络（RED-Net），具有对称跳跃连接，用于端到端的图像去噪和超分辨，取得了先进的结果并且用单一模型处理多种损坏水平。

ABSTRACT

In this paper, we propose a very deep fully convolutional encoding-decoding framework for image restoration such as denoising and super-resolution. The network is composed of multiple layers of convolution and de-convolution operators, learning end-to-end mappings from corrupted images to the original ones. The convolutional layers act as the feature extractor, which capture the abstraction of image contents while eliminating noises/corruptions. De-convolutional layers are then used to recover the image details. We propose to symmetrically link convolutional and de-convolutional layers with skip-layer connections, with which the training converges much faster and attains a higher-quality local optimum. First, The skip connections allow the signal to be back-propagated to bottom layers directly, and thus tackles the problem of gradient vanishing, making training deep networks easier and achieving restoration performance gains consequently. Second, these skip connections pass image details from convolutional layers to de-convolutional layers, which is beneficial in recovering the original image. Significantly, with the large capacity, we can handle different levels of noises using a single model. Experimental results show that our network achieves better performance than all previously reported state-of-the-art methods.

研究动机与目标

• 推动使用极深的网络进行图像重建，以提升去噪和超分辨率的性能。
• 提出对称的编码器-解码器架构（RED-Net），以保留图像细节并实现对深层网络的有效训练。
• 在对应的编码器/解码器层之间引入跳跃连接，以促进梯度传播和细节保留。
• 证明单一的高容量模型能够处理多种噪声水平和下采样/上采样因子。
• 提供广泛的实证证据，显示在数据集与任务上相较于同期方法的改进。

提出的方法

• 构建一个具有对称卷积和反卷积层的全卷径向编码器-解码器网络（RED-Net）。
• 使用3x3卷积核、不进行池化，并在每一层后进行整流（ReLU等）处理。
• 在对应的编码器和解码器层之间添加逐元素跳跃连接，以传递图像细节并有助于梯度流动。
• 通过端到端均方误差最小化，使用 Adam 优化器训练以预测残差。
• 展示单一高容量模型处理多种噪声水平和尺度因子的能力。

实验结果

研究问题

• RQ1 极深的全卷积编码器-解码器网络是否能在去噪和超分辨率上超越现有方法？
• RQ2 对称的跳跃连接是否能实现极深网络的训练并在重建过程中保留图像细节？
• RQ3 单一的 RED-Net 模型是否可以在不进行针对任务的再训练的情况下稳健地处理多种噪声水平和缩放因子？
• RQ4 在标准去噪和超分辨基准测试中，所提架构与当代方法的比较如何？

主要发现

• 带有跳跃连接的 RED-Net 在去噪和超分辨基准测试上实现了最先进的性能。
• 具有对称跳跃连接的更深网络在性能上优于较浅的变体和其他方法，且随着噪声水平的增加收益更大。
• 单一的 RED-Net 模型能够有效处理多种噪声水平和缩放因子，减少对多种专用模型的需求。
• 跳跃连接改善梯度流动并保留图像细节，使得深层架构能够成功训练。
• 实验结果在去噪方面相对于 BM3D、NCSR、EPLL、PCLR、WNNM 的 PSNR/SSIM 有定量提升，在超分辨方面相对于 CSCN、CSC、TSE、ARFL+ 的 PSNR/SSIM 也有提升。