[论文解读] Learning Sparse Masks for Efficient Image Super-Resolution

Longguang Wang, Xiaoyu Dong+5 more|arXiv (Cornell University)|Jun 17, 2020

Advanced Image Processing Techniques参考文献 22被引用 5

一句话总结

该论文提出SMSR，一种用于高效图像超分的稀疏掩码学习框架，通过基于输入图像的条件学习空间和通道掩码，自适应地剪枝冗余计算。通过识别并跳过平坦区域的计算，同时在边缘处保留细节，SMSR在x2、x3和x4超分任务中实现了SOTA性能，同时将FLOPs减少了27%至41%。

ABSTRACT

Current CNN-based super-resolution (SR) methods process all locations equally with computational resources being uniformly assigned in space. However, since highfrequency details mainly lie around edges and textures, less computational resources are required for those flat regions. Therefore, existing CNN-based methods involve much redundant computation in flat regions, which increases their computational cost and limits the applications on mobile devices. To address this limitation, we develop an SR network (SMSR) to learn sparse masks to prune redundant computation conditioned on the input image. Within our SMSR, spatial masks learn to identify important locations while channel masks learn to mark redundant channels in those unimportant regions. Consequently, redundant computation can be accurately located and skipped while maintaining comparable performance. It is demonstrated that our SMSR achieves state-of-the-art performance with 41%/33%/27% FLOPs being reduced for x2/3/4 SR.

研究动机与目标

• 通过根据输入内容自适应地分配资源，减少基于CNN的超分网络中的冗余计算。
• 解决在所有空间位置上均匀计算的低效问题，尤其是在平坦图像区域。
• 通过最小化FLOPs而不牺牲性能，实现在移动设备上的高效部署。
• 开发一种可学习的机制，动态识别并剪枝不重要的空间和通道特征。

提出的方法

• 学习空间掩码以识别重要图像位置（如边缘和纹理），在这些区域优先进行计算。
• 学习通道掩码以抑制不重要空间区域中的冗余通道，从而减少特征图的计算量。
• 网络采用可微分的掩码机制，支持使用标准反向传播进行端到端训练。
• 掩码基于输入图像进行条件化，实现动态、内容感知的计算剪枝。
• 通过跳过掩码区域和通道的前向传播来减少FLOPs，且性能下降可忽略。
• 该框架将稀疏掩码集成到标准的超分主干网络中，保持与现有架构的兼容性。

实验结果

研究问题

• RQ1 基于输入内容的自适应计算剪枝是否能在不降低性能的前提下提升超分任务的效率？
• RQ2 空间和通道掩码在识别和消除平坦图像区域中的冗余计算方面有多高效？
• RQ3 在保持SOTA超分性能的前提下，FLOPs最多可减少多少？
• RQ4 所提出的掩码机制在不同缩放因子（x2、x3、x4）上是否具有泛化能力？
• RQ5 与固定或静态剪枝策略相比，动态、输入条件化的掩码学习有何优势？

主要发现

• 对于x2超分任务，SMSR在保持SOTA性能的同时将FLOPs减少了41%。
• 在x3超分任务中，该方法相比基线方法实现了33%的FLOPs减少。
• 在x4超分任务中，模型将FLOPs减少了27%，证明了其在不同缩放因子下的可扩展性。
• 尽管FLOPs显著减少，该方法仍保持了具有竞争力的PSNR和SSIM指标。
• 学习到的掩码能有效识别高频区域（如边缘和纹理），同时跳过平坦区域的计算。
• 消融实验证实，空间掩码和通道掩码均对效率提升有显著贡献。