[论文解读] An Information Theory-inspired Strategy for Automatic Network Pruning

Xiawu Zheng, Yuexiao Ma+7 more|arXiv (Cornell University)|Aug 19, 2021

Advanced Neural Network Applications参考文献 46被引用 11

一句话总结

该论文提出ITPruner，一种受信息论启发的自动网络剪枝方法，通过在层激活上使用归一化希尔伯特-施密特独立性准则（nHSIC）来估计通道重要性，无需迭代搜索或微调。该方法将架构搜索建模为凸优化问题，在单个CPU/GPU上仅需数秒即可实现SOTA压缩性能——例如在ResNet-50上实现45.3%的FLOPs减少，同时保持75.75%的Top-1准确率（ImageNet数据集）。

ABSTRACT

Despite superior performance on many computer vision tasks, deep convolution neural networks are well known to be compressed on devices that have resource constraints. Most existing network pruning methods require laborious human efforts and prohibitive computation resources, especially when the constraints are changed. This practically limits the application of model compression when the model needs to be deployed on a wide range of devices. Besides, existing methods are still challenged by the missing theoretical guidance. In this paper we propose an information theory-inspired strategy for automatic model compression. The principle behind our method is the information bottleneck theory, i.e., the hidden representation should compress information with each other. We thus introduce the normalized Hilbert-Schmidt Independence Criterion (nHSIC) on network activations as a stable and generalized indicator of layer importance. When a certain resource constraint is given, we integrate the HSIC indicator with the constraint to transform the architecture search problem into a linear programming problem with quadratic constraints. Such a problem is easily solved by a convex optimization method with a few seconds. We also provide a rigorous proof to reveal that optimizing the normalized HSIC simultaneously minimizes the mutual information between different layers. Without any search process, our method achieves better compression tradeoffs comparing to the state-of-the-art compression algorithms. For instance, with ResNet-50, we achieve a 45.3%-FLOPs reduction, with a 75.75 top-1 accuracy on ImageNet. Codes are avaliable at https://github.com/MAC-AutoML/ITPruner/tree/master.

研究动机与目标

• 解决现有网络剪枝方法存在的局限性，如需要大量人工干预、迭代微调或昂贵的搜索过程。
• 开发一种基于信息瓶颈理论的理论基础扎实、全自动的剪枝策略。
• 在资源约束各异的多样化设备上实现高效的模型压缩。
• 消除剪枝后对超参数调优或准确率恢复步骤的需求。

提出的方法

• 该方法引入归一化希尔伯特-施密特独立性准则（nHSIC）作为基于特征图独立性的稳定、可微且泛化的层重要性指标。
• 将通道压缩问题建模为带有二次约束的线性规划任务，将架构搜索转化为凸优化问题。
• 利用凸求解器高效求解优化问题，实现在单个CPU或GPU上亚秒级推理。
• 该方法基于信息瓶颈理论，其中最小化nHSIC等价于最小化层间互信息。
• 该方法使用两个超参数：β（控制每层的相对压缩程度）和n（用于nHSIC估计的输入样本数量）。
• 理论证明表明，最小化nHSIC可同时最小化层激活之间的互信息。

实验结果

研究问题

• RQ1 能否基于信息论原则，推导出一种理论基础扎实、无需迭代搜索或微调的全自动网络剪枝方法？
• RQ2 如何利用统计依赖性度量（如nHSIC）稳健且高效地衡量层重要性？
• RQ3 能否将架构搜索问题转化为凸优化问题，以实现快速且可扩展的剪枝？
• RQ4 在多种模型上，该方法在准确率与FLOPs减少方面相较于SOTA方法表现如何？

主要发现

• ITPruner在ResNet-50上实现了45.3%的FLOPs减少，Top-1准确率仅下降0.75%（ImageNet数据集），优于SOTA方法。
• 在MobileNetV1上，ITPruner实现FLOPs减少，准确率下降仅0.8%，优于AMC的1.3%，展现出更优的压缩效率。
• 在Google Pixel 2上，ITPruner使MobileNetV1和MobileNetV2的推理速度分别提升3倍和1.65倍（批量大小为8）。
• ITPruner找到的架构与进化算法基线几乎一致，Top-1准确率差距仅为0.19%，尽管未进行任何搜索过程。
• 该方法对超参数选择具有鲁棒性：不同β和n值下的准确率方差小于0.1%，表明其高度稳定且易于使用。
• 理论分析证实，最小化nHSIC等价于最小化层激活之间的互信息，提供了坚实的理论基础。