[论文解读] Image Super-Resolution Using Deep Convolutional Networks

Chao Dong, Chen Change Loy+2 more|arXiv (Cornell University)|Dec 31, 2014

Advanced Image Processing Techniques参考文献 42被引用 141

一句话总结

本文提出一种轻量级深度卷积神经网络（SRCNN），用于单图像超分辨率，直接学习从低分辨率到高分辨率图像的端到端映射。通过将基于稀疏编码的超分辨率重构为深度卷积神经网络，SRCNN 实现了最先进的性能，推理速度快，无论在质量还是速度上均优于以往方法，尤其在使用 RGB 通道训练时表现更优。

ABSTRACT

We propose a deep learning method for single image super-resolution (SR). Our method directly learns an end-to-end mapping between the low/high-resolution images. The mapping is represented as a deep convolutional neural network (CNN) that takes the low-resolution image as the input and outputs the high-resolution one. We further show that traditional sparse-coding-based SR methods can also be viewed as a deep convolutional network. But unlike traditional methods that handle each component separately, our method jointly optimizes all layers. Our deep CNN has a lightweight structure, yet demonstrates state-of-the-art restoration quality, and achieves fast speed for practical on-line usage. We explore different network structures and parameter settings to achieve trade-offs between performance and speed. Moreover, we extend our network to cope with three color channels simultaneously, and show better overall reconstruction quality.

研究动机与目标

• 通过直接学习从低分辨率到高分辨率图像的映射，解决单图像超分辨率问题的病态性。
• 克服传统基于实例的方法的局限性，后者分别优化各组件（如字典、块聚合等）。
• 设计一种轻量级、全卷积网络，实现无需迭代优化的快速实时推理。
• 证明通过反向传播联合优化网络所有组件，可提升重建质量，优于分步处理的流水线方法。
• 通过在 RGB 或 YCbCr 空间中进行训练，将网络扩展为有效处理彩色图像，提升色彩重建效果。

提出的方法

• 提出一个三层全卷积神经网络（SRCNN），包含输入层（卷积核大小 9×9）、隐藏层（卷积核大小 1×1）和输出层（卷积核大小 5×5）。
• 在隐藏层中使用修正线性单元（ReLU）作为激活函数，引入非线性。
• 使用预测结果与真实高分辨率块之间的均方误差（MSE）损失，端到端训练网络。
• 将整个超分辨率流程——块提取、编码、重建与聚合——统一为单一深度学习模型，避免对中间组件进行手动优化。
• 通过在 RGB 或 YCbCr 颜色空间中进行训练，使模型能够同时处理三个颜色通道，并通过消融实验研究预训练策略。
• 通过随机裁剪和旋转进行数据增强，以提升泛化能力并减少过拟合。

实验结果

研究问题

• RQ1 深度卷积神经网络能否在不显式进行字典学习的情况下，有效学习单图像超分辨率的端到端映射？
• RQ2 与分别优化各组件的传统基于稀疏编码的超分辨率方法相比，联合优化的深度卷积神经网络性能如何？
• RQ3 网络深度、卷积核大小以及颜色空间（RGB 与 YCbCr）对重建质量与速度有何影响？
• RQ4 在亮度或色度通道上进行预训练是否能提升统一网络的性能？
• RQ5 在 RGB 通道上进行训练是否能利用通道间的相关性，从而在统一处理中提升色彩重建质量，优于单独处理各通道？

主要发现

• 在 Set5 数据集上，SRCNN 在缩放因子为 3 时达到 33.1 dB 的 PSNR，性能达到最先进水平，超越双三次插值基线和基于稀疏编码的方法。
• 在 RGB 通道上训练可获得最佳整体性能，在 RGB 空间中实现 33.1 dB 的 PSNR，优于单通道 Y 仅训练和 YCbCr 训练。
• Y 预训练策略在色度重建方面优于 CbCr 预训练，因为激活的滤波器更多，且网络更不易陷入不良局部极小值。
• 在 RGB 通道上训练的模型在 Y 通道上的性能与单通道 Y 仅网络相当（33.0 dB），同时显著提升了 Cb 和 Cr 通道的质量，优于双三次插值。
• 由于其全前馈架构，SRCNN 显著快于迭代型基于实例的方法，可在 CPU 上实现实时推理。
• 随着使用更大、更多样化的数据集以及更深的网络结构，模型性能进一步提升，表明其具备良好的可扩展性。