[论文解读] What is the State of Neural Network Pruning?
一项针对81篇论文的神经网络剪枝的元分析揭示了严重的基准分散性，并提出 ShrinkBench，以实现对剪枝方法的标准化评估和公平比较。
Neural network pruning---the task of reducing the size of a network by removing parameters---has been the subject of a great deal of work in recent years. We provide a meta-analysis of the literature, including an overview of approaches to pruning and consistent findings in the literature. After aggregating results across 81 papers and pruning hundreds of models in controlled conditions, our clearest finding is that the community suffers from a lack of standardized benchmarks and metrics. This deficiency is substantial enough that it is hard to compare pruning techniques to one another or determine how much progress the field has made over the past three decades. To address this situation, we identify issues with current practices, suggest concrete remedies, and introduce ShrinkBench, an open-source framework to facilitate standardized evaluations of pruning methods. We use ShrinkBench to compare various pruning techniques and show that its comprehensive evaluation can prevent common pitfalls when comparing pruning methods.
研究动机与目标
- 综合神经网络剪枝文献，识别实际教训和常见陷阱。
- 评估剪枝方法在不同体系结构、数据集和评估指标上的比较情况。
- 推荐最佳实践与工具，以实现对剪枝方法的标准化、公平评估。
- 提供一个具体的开源框架，以支持标准化的剪枝研究。
提出的方法
- 汇总81篇剪枝论文的结果，以描述做法和发现。
- 编目常见障碍，如数据集/体系结构分散和指标不一致。
- 定义剪枝方法的标准化评估框架和指标。
- 将 ShrinkBench 作为一个开源库引入，用于标准化剪枝评估。
- 演示 ShrinkBench 基线，并展示标准化评估如何降低误解。
实验结果
研究问题
- RQ1近来神经网络剪枝文献中的常见做法与结果是什么？
- RQ2基准测试做法如何阻碍剪枝方法的公平比较？
- RQ3哪些具体的解决办法和工具可改善剪枝研究的可重复性和可比性？
- RQ4ShrinkBench 如何帮助确保标准化评估与公平方法比较？
主要发现
- 剪枝可以显著压缩模型，同时几乎不损失精度，甚至在较小的压缩水平上某些方法还能提高准确性。
- 许多方法优于随机剪枝，且在固定参数下，全局剪枝通常比逐层剪枝更有效，尽管结果因数据集/架构而异。
- 稀疏模型在相同参数量下可优于密集模型，有时甚至优于原始未剪枝模型。
- 数据集、体系结构和指标存在显著分散性，使对剪枝方法的直接、可控比较变得困难。
- 很多论文仅在有限的数据集/架构配对上报告结果，且提供的工作点很少，阻碍趋势辨识。
- 混杂变量如初始模型质量、数据增强、优化选择、剪枝时间表和库等显著影响结果，增加公平比较的难度。
- ShrinkBench 被提出作为一个库，用于标准化剪枝评估并缓解这些问题。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。