[论文解读] Attentive Fine-Grained Structured Sparsity for Image Restoration

Junghun Oh, Heewon Kim+4 more|arXiv (Cornell University)|Apr 26, 2022

Advanced Image Processing Techniques被引用 5

一句话总结

该论文提出SLS（Searching for Layer-wise N:M Structured Sparsity），一种新颖的剪枝框架，可动态确定用于高效图像恢复的逐层N:M结构化稀疏比率。通过为每个剪枝单元引入可学习得分，并支持在多个剪枝模型间进行自适应推理，SLS在超分辨率和去模糊任务上实现了最先进的准确率-效率权衡，优于多个基准测试中的现有方法。

ABSTRACT

Image restoration tasks have witnessed great performance improvement in recent years by developing large deep models. Despite the outstanding performance, the heavy computation demanded by the deep models has restricted the application of image restoration. To lift the restriction, it is required to reduce the size of the networks while maintaining accuracy. Recently, N:M structured pruning has appeared as one of the effective and practical pruning approaches for making the model efficient with the accuracy constraint. However, it fails to account for different computational complexities and performance requirements for different layers of an image restoration network. To further optimize the trade-off between the efficiency and the restoration accuracy, we propose a novel pruning method that determines the pruning ratio for N:M structured sparsity at each layer. Extensive experimental results on super-resolution and deblurring tasks demonstrate the efficacy of our method which outperforms previous pruning methods significantly. PyTorch implementation for the proposed methods is available at https://github.com/JungHunOh/SLS_CVPR2022.

研究动机与目标

• 为解决图像恢复网络中统一剪枝比率效率低下的问题，其中不同层对剪枝的敏感度各异。
• 开发一种方法，为每层确定最优的N:M结构化稀疏级别，以改善准确率-效率权衡。
• 通过基于输入复杂度的计算预算组合多个不同剪枝模型，实现灵活推理。
• 克服现有N:M剪枝方法的局限性，即假设层间稀疏性统一且缺乏适应性。

提出的方法

• 该方法将N:M结构化稀疏性形式化为稀疏张量分解，其中每个稀疏张量对应一个基于权重大小的剪枝单元。
• 为每个剪枝单元引入可学习得分，以优先移除低重要性单元，实现可微且高效的稀疏性学习。
• 通过使用可微剪枝目标优化每层的剪枝比率，实现逐层N:M稀疏性搜索。
• 自适应推理机制在推理时根据输入块的难度选择最合适的剪枝模型，该难度通过辅助网络估计。
• 辅助网络预测块级MSE以指导模型选择，平衡计算成本与恢复质量。
• 该方法应用于超分辨率（EDSR、CARN、RFDN）和去模糊（DMPHN、SRN、残差UNet）模型，包含联合预训练与剪枝阶段。

Figure 1 : Trade-off between image restoration performance (PSNR) vs computational costs (MACs) on super-resolution (top) and deblurring tasks (bottom). We compare our method to the magnitude-based filter pruning [ 28 ] and the existing methods on $N$ : $M$ sparsity (One-shot pruning [ 37 ] and SR-S

实验结果

研究问题

• RQ1 与统一剪枝相比，逐层N:M结构化稀疏性是否能改善图像恢复中的准确率-效率权衡？
• RQ2 使用多个剪枝模型的自适应推理在不同计算预算下如何提升性能？
• RQ3 每层不同的剪枝比率对模型敏感度和恢复质量有何影响？
• RQ4 基于可微、基于权重大小的剪枝单元选择策略是否能有效引导N:M稀疏性学习？
• RQ5 所提方法在DIV2K、GOPRO和Urban100等多样化图像恢复基准上是否保持或提升性能？

主要发现

• SLS在超分辨率和去模糊任务上均优于基于权重大小的滤波器剪枝及现有N:M结构化剪枝方法（One-shot、SR-STE）。
• 在GOPRO数据集上，SLS在去模糊任务中分别实现28.48/27.49/25.82 PSNR，超越基线和先前方法。
• 在Urban100数据集的超分辨率任务中，SLS仅使用260.58K MACs即实现28.48 PSNR，展现出高效率。
• 自适应推理在保持或提升PSNR的同时减少计算开销，通过动态选择基于输入块复杂度的模型实现。
• 该方法实现了效率与准确率之间的灵活权衡，通过在不同剪枝比率下训练的模型实现运行时预算控制。
• 用于MSE估计的辅助网络增加的开销极小（HD图像仅3.45 GMACs），并有效实现推理时的模型路径选择。

(a)