[论文解读] Data-Independent Neural Pruning via Coresets

Ben Mussay, Margarita Osadchy+3 more|arXiv (Cornell University)|Jul 9, 2019

Adversarial Robustness in Machine Learning参考文献 31被引用 7

一句话总结

该论文提出了一种首个无需依赖数据的神经网络剪枝方法，利用核心集（coresets）可证明地保证任意测试输入（包括对抗性输入）的压缩率与近似误差之间的权衡。通过将神经元视为核心集框架中的点，并逐层剪枝，该方法在LeNet-300-100上实现了90%的压缩率，同时提升了MNIST分类准确率，优于基于采样的基线方法，并实现了更快的微调速度。

ABSTRACT

Previous work showed empirically that large neural networks can be significantly reduced in size while preserving their accuracy. Model compression became a central research topic, as it is crucial for deployment of neural networks on devices with limited computational and memory resources. The majority of the compression methods are based on heuristics and offer no worst-case guarantees on the trade-off between the compression rate and the approximation error for an arbitrarily new sample. We propose the first efficient, data-independent neural pruning algorithm with a provable trade-off between its compression rate and the approximation error for any future test sample. Our method is based on the coreset framework, which finds a small weighted subset of points that provably approximates the original inputs. Specifically, we approximate the output of a layer of neurons by a coreset of neurons in the previous layer and discard the rest. We apply this framework in a layer-by-layer fashion from the top to the bottom. Unlike previous works, our coreset is data independent, meaning that it provably guarantees the accuracy of the function for any input $x\in \mathbb{R}^d$, including an adversarial one. We demonstrate the effectiveness of our method on popular network architectures. In particular, our coresets yield 90\% compression of the LeNet-300-100 architecture on MNIST while improving the accuracy.

研究动机与目标

• 为解决现有模型压缩方法在对抗性输入下缺乏可证明的最坏情况保证的问题。
• 开发一种无需依赖训练数据统计特性的数据无关剪枝框架，确保对任何未来测试样本均具备准确率边界。
• 在不牺牲模型准确率的前提下实现高比例压缩，尤其适用于资源受限的部署场景。
• 提供一种计算高效的剪枝方法，避免稀疏权重实现带来的复杂性。

提出的方法

• 该方法将神经网络每一层中的神经元视为核心集中的点，利用核心集理论选择一个小型加权子集，以可证明的方式近似完整层的输出。
• 从网络顶层到底层逐层应用核心集构建算法，选择神经元并更新其至下一层的权重。
• 核心集大小与期望的近似误差存在理论关联，从而实现压缩率与准确率之间的可证明权衡。
• 框架利用常见激活函数（如ReLU、Sigmoid）已知的核心集构造方法，确保理论保证。
• 采用现有核心集算法（如Braverman等人，2016年提出的方法）并适配至神经元输出，确保对任意输入分布的鲁棒性。
• 剪枝后，对模型进行微调以进一步提升准确率，且与均匀采样基线相比，训练时间显著减少。

实验结果

研究问题

• RQ1 能否设计一种神经网络剪枝方法，对任意输入（包括对抗性样本）均具备可证明的近似误差保证？
• RQ2 该方法能否实现数据无关性，避免依赖于训练数据的统计特性？
• RQ3 与均匀采样或百分位数选择相比，基于核心集的神经元选择在压缩-准确率权衡方面表现如何？
• RQ4 该剪枝框架在实际应用中的计算效率如何？
• RQ5 该方法能否在不造成准确率下降的前提下实现高比例压缩，特别是在VGG-16等深层网络中？

主要发现

• 所提出的基于核心集的剪枝方法在MNIST数据集上的LeNet-300-100架构上实现了90%的压缩率，同时提升了分类准确率。
• 在所有压缩水平下，该方法均优于均匀采样和基于百分位数的核心集选择，平均近似误差显著更低。
• 核心集剪枝模型的微调时间仅为均匀采样基线的一半左右，显著缩短了训练时长。
• 在高比例压缩下，核心集方法仍保持高准确率，而均匀采样在相同条件下准确率急剧下降。
• 该框架表现出快速的计算性能，在指定硬件上每层全连接层的压缩时间约为56秒，适用于VGG-16。
• 理论分析证实，核心集近似对任意输入 $ x \in \mathbb{R}^d $ 均成立，包括对抗性输入，确保了鲁棒性。