[论文解读] Accurate Image Super-Resolution Using Very Deep Convolutional Networks

Jiwon Kim, Jung Kwon Lee+1 more|arXiv (Cornell University)|Nov 14, 2015

Advanced Image Processing Techniques参考文献 15被引用 63

一句话总结

本文提出了一种非常深的超分辨率（VDSR）方法，采用非常深的（20层）残差卷积神经网络，实现高精度的单图像超分辨率。通过建模低分辨率与高分辨率图像之间的残差，并结合极高的学习率与梯度裁剪，该方法实现了更快的收敛速度和最先进性能，在Set5数据集上×2缩放时PSNR相比SRCNN最高提升0.87 dB。

ABSTRACT

We present a highly accurate single-image super-resolution (SR) method. Our method uses a very deep convolutional network inspired by VGG-net used for ImageNet classification \cite{simonyan2015very}. We find increasing our network depth shows a significant improvement in accuracy. Our final model uses 20 weight layers. By cascading small filters many times in a deep network structure, contextual information over large image regions is exploited in an efficient way. With very deep networks, however, convergence speed becomes a critical issue during training. We propose a simple yet effective training procedure. We learn residuals only and use extremely high learning rates ($10^4$ times higher than SRCNN \cite{dong2015image}) enabled by adjustable gradient clipping. Our proposed method performs better than existing methods in accuracy and visual improvements in our results are easily noticeable.

研究动机与目标

• 解决现有基于深度学习的超分辨率方法收敛速度慢且精度受限的问题，特别是那些使用浅层网络的方法。
• 克服训练非常深的网络用于图像超分辨率的挑战，因为历史上更深的模型未能提升性能。
• 开发一种单模型解决方案，可泛化于多个缩放因子（如×2、×3、×4），而无需为每个缩放因子单独训练模型。
• 通过具有大感受野的深层结构，利用大范围图像区域的上下文信息，提升性能。

提出的方法

• 提出一种非常深的残差网络（20个卷积层），采用小尺寸的3×3卷积核，通过堆叠卷积捕捉长距离上下文依赖关系。
• 直接建模高分辨率与低分辨率图像之间的残差图像（即差异图），而非直接建模高分辨率图像，从而实现更快、更稳定的训练。
• 利用残差学习和自适应梯度裁剪，实现极高的初始学习率（0.1，约为SRCNN的10⁴倍）。
• 采用批量归一化和He风格的权重初始化，以稳定使用ReLU激活函数的深层网络训练。
• 训练一个单一的深层网络，可泛化于多个缩放因子（×2、×3、×4），无需为每个缩放因子单独训练模型。
• 在训练过程中应用数据增强（旋转与翻转），以提升泛化能力和鲁棒性。

实验结果

研究问题

• RQ1 与SRCNN等浅层网络相比，非常深的残差网络是否能显著提升超分辨率的准确性？
• RQ2 在训练深层超分辨率网络时，是否能有效使用极高的学习率而不引发梯度爆炸？
• RQ3 与直接建模高分辨率图像相比，建模残差图像是否能带来更快的收敛速度和更好的性能？
• RQ4 一个单一的深层网络是否能有效处理多个缩放因子（如×2、×3、×4）而无需重新训练？
• RQ5 在非常深的网络中，感受野的大小如何影响重建图像细节的质量？

主要发现

• 在Set5数据集上，VDSR在×3超分辨率任务中达到33.27 dB的PSNR，相比之前最先进方法（SRCNN）提升0.87 dB。
• 在Urban100数据集上，VDSR在×4超分辨率任务中达到30.95 dB的PSNR，优于最佳先前方法（RFL）的0.11 dB。
• 在×2、×3、×4多尺度联合训练的多尺度VDSR模型，在×3任务上达到33.27 dB PSNR，优于单尺度×3模型（32.89 dB）。
• 训练收敛速度显著加快：在高学习率（0.1）下，模型仅用80个周期即达到最优性能，这得益于残差学习与梯度裁剪。
• 视觉结果表明，VDSR比SRCNN及其他方法更准确地重建了精细细节和锐利边缘，且模糊或失真极少。
• 该方法在各类图像类型中均表现出强鲁棒性，包括Urban100数据集中具有挑战性的城市场景，其在定量和定性评估中均持续优于现有方法。