[论文解读] Fast and Accurate Image Super Resolution by Deep CNN with Skip Connection and Network in Network

Jin Yamanaka, Shigesumi Kuwashima+1 more|arXiv (Cornell University)|Jul 18, 2017

Advanced Image Processing Techniques参考文献 15被引用 42

一句话总结

该论文提出DCSCN，一种用于单图像超分辨率的轻量化深度卷积神经网络架构，通过结合残差学习、跳跃连接和网络中网络（NiN）模块，在计算成本较先前深度模型降低至少10倍的前提下，实现了最先进（SOTA）的重建质量。该方法通过优化网络深度、滤波器数量，并使用1×1卷积进行降维和高效特征处理，实现在资源受限设备上快速、准确的图像恢复。

ABSTRACT

We propose a highly efficient and faster Single Image Super-Resolution (SISR) model with Deep Convolutional neural networks (Deep CNN). Deep CNN have recently shown that they have a significant reconstruction performance on single-image super-resolution. Current trend is using deeper CNN layers to improve performance. However, deep models demand larger computation resources and is not suitable for network edge devices like mobile, tablet and IoT devices. Our model achieves state of the art reconstruction performance with at least 10 times lower calculation cost by Deep CNN with Residual Net, Skip Connection and Network in Network (DCSCN). A combination of Deep CNNs and Skip connection layers is used as a feature extractor for image features on both local and global area. Parallelized 1x1 CNNs, like the one called Network in Network, is also used for image reconstruction. That structure reduces the dimensions of the previous layer's output for faster computation with less information loss, and make it possible to process original images directly. Also we optimize the number of layers and filters of each CNN to significantly reduce the calculation cost. Thus, the proposed algorithm not only achieves the state of the art performance but also achieves faster and efficient computation. Code is available at https://github.com/jiny2001/dcscn-super-resolution

研究动机与目标

• 开发一种基于深度卷积神经网络的超分辨率模型，在保持高重建精度的同时，显著降低计算成本，以适用于边缘设备的部署。
• 通过优化网络深度和滤波器数量，解决深度残差网络在移动和物联网环境中的低效问题。
• 通过跳跃连接和残差学习，提升局部与全局感受野的特征提取能力。
• 通过在神经网络中嵌入1×1卷积的网络中网络结构，实现从低分辨率输入端到端的图像重建，无需预处理或后处理。
• 在现有深度卷积神经网络模型的基础上，显著降低浮点运算次数（FLOPs），实现图像超分辨率的最先进性能。

提出的方法

• 模型采用深层残差网络并结合跳跃连接，以稳定训练过程并改善极深网络中的梯度流动。
• 跳跃连接用于保留并融合多层的特征，增强局部与全局特征表示能力。
• 集成具有1×1卷积层的网络中网络（NiN）模块，以降低特征图的维度，减少信息损失并加速计算。
• 通过并行使用1×1卷积，高效地对特征图进行投影与压缩，实现在极小精度损失下加快推理速度。
• 系统性地优化每个卷积模块中的层数与滤波器数量，以在保持高重建保真度的同时最小化FLOPs。
• 网络采用端到端训练方式，直接从低分辨率输入重建高分辨率图像，无需预处理或后处理。

实验结果

研究问题

• RQ1 基于深度卷积神经网络的超分辨率模型是否能在显著降低计算成本的前提下，实现最先进（SOTA）的重建质量？
• RQ2 跳跃连接和残差学习在极深网络中如何提升图像超分辨率任务的特征表示能力？
• RQ3 在不降低图像重建质量的前提下，网络中网络模块结合1×1卷积能在多大程度上减少FLOPs？
• RQ4 在边缘设备上实现实时部署时，网络深度、滤波器数量与计算效率之间的最优权衡是什么？
• RQ5 轻量化卷积神经网络模型是否能在单图像超分辨率任务中，同时实现比更深、参数更多的模型更高的速度与精度？

主要发现

• 所提出的DCSCN模型在基准数据集上，以PSNR和SSIM指标衡量，实现了最先进（SOTA）的图像超分辨率性能。
• 与现有基于深度卷积神经网络的超分辨率方法相比，该模型将计算成本降低了至少10倍，适用于移动设备和物联网设备。
• 跳跃连接与残差学习的集成使得更深网络的训练更加稳定，且性能未出现显著退化。
• 在神经网络中网络结构中使用1×1卷积层，能有效降低特征图维度，同时造成极小的信息损失。
• 对网络深度与滤波器数量的最优配置，可在保持高重建精度的同时，显著降低FLOPs。
• 模型可直接处理低分辨率图像，无需中间变换，从而简化了推理流程。