[论文解读] Exploring Sparsity in Image Super-Resolution for Efficient Inference

Longguang Wang, Xiaoyu Dong+5 more|arXiv (Cornell University)|Jun 17, 2020

Advanced Image Processing Techniques参考文献 48被引用 15

一句话总结

本文提出稀疏掩码超分辨率（SMSR），一种通过学习空间和通道掩码来识别‘重要’区域（如边缘和纹理）及冗余通道，从而在深度卷积神经网络（CNN）图像超分中动态剪枝冗余计算的方法。在推理阶段应用稀疏卷积操作，SMSR在×2/×3/×4超分任务中分别将FLOPs降低41%/33%/27%，同时保持了最先进性能。

ABSTRACT

Current CNN-based super-resolution (SR) methods process all locations equally with computational resources being uniformly assigned in space. However, since missing details in low-resolution (LR) images mainly exist in regions of edges and textures, less computational resources are required for those flat regions. Therefore, existing CNN-based methods involve redundant computation in flat regions, which increases their computational cost and limits their applications on mobile devices. In this paper, we explore the sparsity in image SR to improve inference efficiency of SR networks. Specifically, we develop a Sparse Mask SR (SMSR) network to learn sparse masks to prune redundant computation. Within our SMSR, spatial masks learn to identify "important" regions while channel masks learn to mark redundant channels in those "unimportant" regions. Consequently, redundant computation can be accurately localized and skipped while maintaining comparable performance. It is demonstrated that our SMSR achieves state-of-the-art performance with 41%/33%/27% FLOPs being reduced for x2/3/4 SR. Code is available at: https://github.com/LongguangWang/SMSR.

研究动机与目标

• 解决深度卷积神经网络（CNN）超分模型在移动端和边缘设备上的高计算成本问题。
• 利用图像超分中固有的稀疏性，即平坦区域所需计算量低于纹理或边缘丰富的区域。
• 开发一种通过可学习掩码在细粒度层面动态跳过冗余计算的方法。
• 在显著降低FLOPs的同时实现最先进性能，并提升推理效率。
• 证明基于学习的掩码优于基于梯度的启发式方法（如基于梯度的掩码）。

提出的方法

• 提出一种稀疏掩码超分（SMSR）网络，通过学习两种掩码：空间掩码用于识别重要图像区域，通道掩码用于识别非重要区域中的冗余通道。
• 在训练过程中使用Gumbel-Softmax技巧实现可微分的软掩码，支持端到端优化。
• 在推理阶段应用稀疏卷积操作，跳过掩码区域和通道的计算。
• 联合使用空间掩码和通道掩码，实现对冗余计算的细粒度定位。
• 采用掩码损失进行网络训练，聚焦于高重要性区域以保持重建质量。
• 采用渐进式注意力机制，使深层网络更关注重要区域，从而增强特征表示能力。

实验结果

研究问题

• RQ1 能否利用图像超分中的稀疏性，在不损失性能的前提下降低计算成本？
• RQ2 可学习的空间和通道掩码是否优于基于梯度的启发式方法（如基于梯度的掩码）来识别冗余计算？
• RQ3 通过动态剪枝，FLOPs最多可降低多少，同时保持最先进超分PSNR性能？
• RQ4 联合使用空间和通道掩码在多大程度上提升了对冗余计算的细粒度定位能力？
• RQ5 与现有轻量化超分网络相比，所提方法能否实现更优的效率-性能权衡？

主要发现

• SMSR在×2、×3和×4超分任务中分别将FLOPs降低41%、33%和27%，同时保持了最先进PSNR性能。
• 在Set14数据集的×2超分任务中，SMSR以38%更少的参数量和41%更少的FLOPs，实现了高于CARN的PSNR。
• 在相当的FLOPs（131.6G vs. 127.7G）下，SMSR的PSNR显著高于IDN，证明其在效率-性能权衡上的优越性。
• 采用基于梯度的掩码变体相比基于学习的掩码性能显著下降（如33.52 vs. 33.33/33.30 PSNR），证实了学习掩码的优越性。
• 在Urban100和真实图像上的视觉对比显示，SMSR产生的伪影更少，感知质量优于SOTA方法。
• SMSR在移动设备上实现了显著加速，证明了其在真实边缘部署中的实用性。