[论文解读] Data-Independent Structured Pruning of Neural Networks via Coresets

Ben Mussay, Daniel E. Feldman+3 more|arXiv (Cornell University)|Aug 19, 2020

Adversarial Robustness in Machine Learning参考文献 45被引用 4

一句话总结

本文提出了一种基于coreset框架的数据无关结构化剪枝方法，可为任意输入（包括对抗性样本）提供近似误差的理论保证。通过逐层构建神经元/滤波器的coreset，该方法在实现高倍率压缩的同时具备强大的理论保障，并且训练速度优于以往方法。

ABSTRACT

Model compression is crucial for deployment of neural networks on devices with limited computational and memory resources. Many different methods show comparable accuracy of the compressed model and similar compression rates. However, the majority of the compression methods are based on heuristics and offer no worst-case guarantees on the trade-off between the compression rate and the approximation error for an arbitrarily new sample. We propose the first efficient structured pruning algorithm with a provable trade-off between its compression rate and the approximation error for any future test sample. Our method is based on the coreset framework and it approximates the output of a layer of neurons/filters by a coreset of neurons/filters in the previous layer and discards the rest. We apply this framework in a layer-by-layer fashion from the bottom to the top. Unlike previous works, our coreset is data independent, meaning that it provably guarantees the accuracy of the function for any input $x\in \mathbb{R}^d$, including an adversarial one.

研究动机与目标

• 为解决现有模型压缩方法在近似误差方面缺乏最坏情况保证的问题，特别是针对未见输入或对抗性输入的情况。
• 开发一种结构化剪枝框架，确保压缩率与近似误差之间的可证明权衡。
• 通过提升压缩模型的初始近似质量，实现在最小微调下的高效一次性压缩。
• 确保数据无关性，使方法在所有输入上均表现可靠，而不仅限于训练或验证数据。
• 将理论保障与实际效率相结合，以支持在资源受限设备上的实际部署。

提出的方法

• 该方法将coreset框架应用于神经网络各层，将神经元或滤波器视为需由更小子集近似的点。
• 对于每一层，从上一层中构建一个神经元/滤波器的coreset，以可证明的方式近似当前层的输出。
• coreset算法选择一组神经元/滤波器，并为其分配新权重以保持近似质量。
• 该框架从网络底部到顶部逐层应用，实现端到端压缩。
• 该方法支持全连接层与卷积层，针对ReLU等常见激活函数提供了特定的coreset构造方式。
• 该方法为一次性且数据无关，其保证不依赖于训练数据分布。

实验结果

研究问题

• RQ1 结构化剪枝方法是否能为任意输入（包括对抗性样本）提供近似误差的可证明最坏情况保证？
• RQ2 coreset框架如何被适配于神经网络剪枝，以同时确保高倍率压缩与强理论边界？
• RQ3 与数据依赖方法相比，数据无关剪枝方法在未见输入的鲁棒性与泛化能力方面是否表现更优？
• RQ4 高质量初始近似在多大程度上可减少压缩模型的微调时间？
• RQ5 基于coreset的方法是否能在保持与最先进方法相当的准确率的同时，提供更强的理论保障？

主要发现

• 在VGG-19（CIFAR-10）上，该方法实现了70%的压缩率，模型准确率为6.02%，在微调前的近似质量优于以往方法。
• 在ResNet-56上，该方法实现了40%的压缩率，top-1准确率为25.11%，在确保理论保障的同时达到或超过最先进结果。
• 在ResNet-50（ImageNet）上，该方法实现了62%的参数减少，top-1准确率为25.11%，展示了在大型模型上的可扩展性。
• 通过coreset实现的初始近似显著减少了微调时间，如图7所示，准确率收敛速度优于随机初始化。
• 在VGG-19上，该方法在微调前的准确率提升比[36]高出12%，表明其初始模型近似质量更优。
• 该框架为一次性且计算高效，coreset构建速度快，几乎无需迭代优化。