[论文解读] Manifold Regularized Dynamic Network Pruning

Yehui Tang, Yunhe Wang+5 more|arXiv (Cornell University)|Mar 10, 2021

Advanced Neural Network Applications参考文献 60被引用 4

一句话总结

该论文提出 ManiDP，一种流形正则化的动态网络剪枝方法，可根据输入相关的复杂度和实例间特征相似性自适应地剪枝滤波器。通过将稀疏性正则化与实例复杂度对齐，并在剪枝子网络中保留相似性，该方法在 ImageNet 上实现 ResNet-34 的 55.3% FLOPs 减少，仅造成 0.57% 的 top-1 准确率下降，优于当前最先进方法。

ABSTRACT

Neural network pruning is an essential approach for reducing the computational complexity of deep models so that they can be well deployed on resource-limited devices. Compared with conventional methods, the recently developed dynamic pruning methods determine redundant filters variant to each input instance which achieves higher acceleration. Most of the existing methods discover effective sub-networks for each instance independently and do not utilize the relationship between different inputs. To maximally excavate redundancy in the given network architecture, this paper proposes a new paradigm that dynamically removes redundant filters by embedding the manifold information of all instances into the space of pruned networks (dubbed as ManiDP). We first investigate the recognition complexity and feature similarity between images in the training set. Then, the manifold relationship between instances and the pruned sub-networks will be aligned in the training procedure. The effectiveness of the proposed method is verified on several benchmarks, which shows better performance in terms of both accuracy and computational cost compared to the state-of-the-art methods. For example, our method can reduce 55.3% FLOPs of ResNet-34 with only 0.57% top-1 accuracy degradation on ImageNet.

研究动机与目标

• 为解决静态和独立动态剪枝方法无法利用输入实例之间关系的局限性。
• 通过将流形结构——特别是实例复杂度和特征相似性——融入剪枝过程，最大化深度网络中的冗余去除。
• 开发一种动态剪枝框架，根据输入特定需求自适应地分配网络容量。
• 在剪枝子网络中保留输入之间的结构和语义关系，以提升泛化能力和效率。

提出的方法

• 该方法首先分析每个训练实例的识别复杂度，基于输入难度分配自适应的稀疏性惩罚。
• 利用网络中的表示计算实例之间的特征相似性，以建模实例间的关系。
• 采用基于实例特定惩罚权重的自适应稀疏性损失，确保复杂输入获得更多的活跃滤波器，而简单输入使用更少的滤波器。
• 引入相似性正则化项，将输入特征的相似性矩阵与对应剪枝子网络的相似性矩阵对齐，以保持结构一致性。
• 整体训练目标结合稀疏性损失和相似性损失，通过可学习超参数端到端优化。
• 剪枝后的网络在推理时生成基于输入的特定子网络，根据输入复杂度和相似性动态选择通道。

实验结果

研究问题

• RQ1 将实例特定复杂度融入动态剪枝是否能在不牺牲准确率的前提下提升模型效率？
• RQ2 在剪枝子网络中保留实例间特征相似性如何影响泛化能力和计算成本？
• RQ3 自适应稀疏性正则化对在多样化输入上平衡网络容量与冗余去除有何影响？
• RQ4 流形正则化剪枝是否能在 FLOPs 减少和准确率保持方面优于现有静态和动态剪枝方法？

主要发现

• 所提出的 ManiDP 方法在 ImageNet 上实现 ResNet-34 的 55.3% FLOPs 减少，仅造成 0.57% 的 top-1 准确率下降，展现出优越的效率-准确率权衡。
• 该方法在 ResNet-56 中实现 73.87% 的 FLOPs 减少和 67.42% 的内存减少，同时保持 93.29% 的测试准确率，仅比原始模型下降 0.41%。
• 禁用相似性损失组件导致 1.43% 的准确率下降，而保留时仅下降 0.98%，验证了其在保持性能方面的重要性。
• 该方法对超参数设置具有鲁棒性，在广泛的稀疏性和相似性损失权重范围内表现良好（例如，λ′ ∈ [0.001, 0.01]，γ ≈ 10.0）。
• 子网络的 FLOPs 根据输入复杂度而变化：简单图像使用紧凑子网络，而复杂或模糊图像则激活更多通道。
• 可视化结果表明，低 FLOPs 子网络能正确处理清晰简单的图像（如明显的鸟类或狗），而高 FLOP 子网络则用于处理模糊或复杂的输入（如小尺寸或大尺寸物体）。