[论文解读] Accelerating the Super-Resolution Convolutional Neural Network

Chao Dong, Chen Change Loy+1 more|arXiv (Cornell University)|Aug 1, 2016

Advanced Image Processing Techniques参考文献 23被引用 11

一句话总结

本文提出快速超分辨率卷积神经网络（FSRCNN），一种紧凑的沙漏形CNN架构，通过用可学习的转置卷积替代双三次插值，结合特征维数压缩/扩展，并采用更小的卷积核与更深的堆叠结构，显著加速图像超分辨率。该方法在保持重建质量的同时，相比SRCNN-Ex实现超过40倍的加速，且FSRCNN-s在通用CPU上实现实时性能（>24 fps）。

ABSTRACT

As a successful deep model applied in image super-resolution (SR), the Super-Resolution Convolutional Neural Network (SRCNN) has demonstrated superior performance to the previous hand-crafted models either in speed and restoration quality. However, the high computational cost still hinders it from practical usage that demands real-time performance (24 fps). In this paper, we aim at accelerating the current SRCNN, and propose a compact hourglass-shape CNN structure for faster and better SR. We re-design the SRCNN structure mainly in three aspects. First, we introduce a deconvolution layer at the end of the network, then the mapping is learned directly from the original low-resolution image (without interpolation) to the high-resolution one. Second, we reformulate the mapping layer by shrinking the input feature dimension before mapping and expanding back afterwards. Third, we adopt smaller filter sizes but more mapping layers. The proposed model achieves a speed up of more than 40 times with even superior restoration quality. Further, we present the parameter settings that can achieve real-time performance on a generic CPU while still maintaining good performance. A corresponding transfer strategy is also proposed for fast training and testing across different upscaling factors.

研究动机与目标

• 解决SRCNN计算成本过高的问题，以实现实际应用中的实时部署。
• 克服现有基于学习的SR方法中双三次插值导致的二次复杂度增长问题。
• 在不牺牲重建质量的前提下减少网络参数量与推理时间。
• 通过迁移策略实现在多种放大因子下的快速训练与推理。
• 设计一种紧凑高效的架构，适用于标准CPU上的实时部署。

提出的方法

• 在网络输出端用可学习的转置卷积层替代双三次插值，消除预处理阶段的上采样操作，降低计算负载。
• 引入“压缩-扩展”瓶颈结构：在映射前降低输入特征维数，映射后恢复维数，实现在低维空间中的高效表征学习。
• 用多个堆叠的3×3卷积层替代单一宽映射层，以更低的参数量提升表征能力。
• 采用沙漏形结构——对称且中间层较细，以平衡效率与性能。
• 直接在低分辨率图像上进行网络训练，避免插值引入的复杂性。
• 提出一种迁移学习策略：仅需微调转置卷积层即可适应不同放大因子，实现快速迁移。

实验结果

研究问题

• RQ1 我们能否在不降低图像重建质量的前提下显著加速SRCNN？
• RQ2 用可学习的转置卷积层替代双三次插值是否能同时提升速度与性能？
• RQ3 特征维数压缩与扩展是否能提升效率同时保持精度？
• RQ4 更深更窄的网络搭配小卷积核是否能在超分辨率任务中超越更宽更浅的网络？
• RQ5 能否通过极少的微调，使同一网络架构高效适配多种放大因子？

主要发现

• FSRCNN在Set5数据集上实现×3超分时PSNR提升0.16 dB，在Set14上提升0.12 dB，同时相比SRCNN-Ex实现超过40倍的加速。
• FSRCNN-s在通用CPU上运行速度超过24 fps，达到实时性能，且在Set5上×3超分的PSNR比标准SRCNN高出0.18 dB，在Set14上高出0.15 dB。
• 所提架构在所有基准数据集上均达到SOTA的PSNR表现：Set5（×2）为37.00 dB，Set5（×3）为33.16 dB，Set5（×4）为30.71 dB。
• 将转置卷积滤波器替换为均匀插值核后，Set5上×3超分的PSNR下降至少0.9 dB，证明可学习上采样机制的必要性。
• 迁移策略实现快速适应：仅微调转置卷积层即可在不同放大因子间保持高精度，且训练成本极低。
• 结合特征压缩与更深网络结构的沙漏形设计，在降低参数量的同时提升性能，实现更低复杂度下的更优结果。