[论文解读] Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections

Xiao-Jiao Mao, Chunhua Shen+1 more|arXiv (Cornell University)|Jun 29, 2016

Advanced Image Processing Techniques参考文献 20被引用 343

一句话总结

该论文提出一种非常深的全卷积自编码器，具对称跳跃连接（RED-Net），用于图像修复任务，能够在去噪、超分辨、JPEG 去块、非盲去模糊和修补等方面实现最先进的性能，且使用单一模型。

ABSTRACT

Image restoration, including image denoising, super resolution, inpainting, and so on, is a well-studied problem in computer vision and image processing, as well as a test bed for low-level image modeling algorithms. In this work, we propose a very deep fully convolutional auto-encoder network for image restoration, which is a encoding-decoding framework with symmetric convolutional-deconvolutional layers. In other words, the network is composed of multiple layers of convolution and de-convolution operators, learning end-to-end mappings from corrupted images to the original ones. The convolutional layers capture the abstraction of image contents while eliminating corruptions. Deconvolutional layers have the capability to upsample the feature maps and recover the image details. To deal with the problem that deeper networks tend to be more difficult to train, we propose to symmetrically link convolutional and deconvolutional layers with skip-layer connections, with which the training converges much faster and attains better results.

研究动机与目标

• 开发一个非常深的、完全卷积的图像修复任务的编码-解码网络。
• 通过在对应的编码器和解码器层之间使用对称跳跃连接来提升可训练性和修复性能。
• 展示一个单一、可扩展的模型，能够处理多种损坏类型（去噪、超分辨、JPEG 去块、去模糊、修补）。

提出的方法

• 提出 RED-Net，一种具有镜像卷积与反卷积层的非常深的对称卷积自编码器。
• 在对应的编码器和解码器层之间引入跳跃连接，以改善梯度传递并保留图像细节。
• 端到端训练，以学习从污染图像到清晰图像的映射，优化残差(Y-X)而不是直接映射。
• 在每一层后使用 ReLU 激活，并在 BSD 的图像块上使用 Adam 训练，使深层架构在没有池化/逆池化的情况下可训练。
• 由于对称、全卷积结构，允许对任意大小的图像进行测试；通过多方向测试实现集成增益。
• 在多个修复任务上与没有先验的最先进方法进行比较。

实验结果

研究问题

• RQ1 具有对称跳跃连接的非常深的全卷积编码-解码器是否能在多任务上提升图像修复性能？
• RQ2 跳跃连接是否能够实现更深网络的有效训练并更好地保留修复中的细节？
• RQ3 单一的 RED-Net 模型是否能够处理多种损坏（去噪、超分辨、JPEG 去块、非盲去模糊、修补）并获得有竞争力或更优的结果？

主要发现

• RED-Net 在他们的实验中在四个图像修复任务上达到报道的最佳性能。
• 具有对称跳跃连接的更深网络比比较浅或无跳跃连接的架构在训练上更有效、保留图像细节更好。
• 跳跃连接促进梯度向下传递到较低层，降低了在极深网络中的梯度消失。
• 该模型使用单一的高容量网络支持不同的损坏级别。
• 通过在前部卷积层进行下采样、在对称的反卷积层进行上采样来提高测试效率，同时使 PSNR 损失最小。
• 网络变体 RED10、RED20、RED30 展示了深度和跳跃连接对修复任务的好处。