[论文解读] Model Preserving Compression for Neural Networks

Jerry Chee, Megan Renz+2 more|arXiv (Cornell University)|Jul 30, 2021

Seismic Imaging and Inversion Techniques被引用 4

一句话总结

本文提出了一种基于插值分解（ID）的模型保持型压缩方法，通过同时剪枝和校正通道激活，无需微调即可保留原始模型的逐样本决策与结构。该方法在CIFAR-10上实现97.3%的预测相关性，在ImageNet上保持了具有竞争力的准确率，同时实现了自动的逐层压缩尺寸设定与理论分析。

ABSTRACT

After training complex deep learning models, a common task is to compress the model to reduce compute and storage demands. When compressing, it is desirable to preserve the original model's per-example decisions (e.g., to go beyond top-1 accuracy or preserve robustness), maintain the network's structure, automatically determine per-layer compression levels, and eliminate the need for fine tuning. No existing compression methods simultaneously satisfy these criteria $\unicode{x2014}$ we introduce a principled approach that does by leveraging interpolative decompositions. Our approach simultaneously selects and eliminates channels (analogously, neurons), then constructs an interpolation matrix that propagates a correction into the next layer, preserving the network's structure. Consequently, our method achieves good performance even without fine tuning and admits theoretical analysis. Our theoretical generalization bound for a one layer network lends itself naturally to a heuristic that allows our method to automatically choose per-layer sizes for deep networks. We demonstrate the efficacy of our approach with strong empirical performance on a variety of tasks, models, and datasets $\unicode{x2014}$ from simple one-hidden-layer networks to deep networks on ImageNet.

研究动机与目标

• 开发一种压缩方法，以保留逐样本决策、网络结构，并实现自动的逐层压缩尺寸设定。
• 在压缩后保持高模型保真度的同时，消除对微调的需求。
• 通过插值分解提供一种理论基础扎实的通道剪枝方法，并具备可解释的校正机制。
• 通过确保与现有机器学习流水线的兼容性以及各类间的公平性，实现压缩模型的实际部署。
• 引入一种基于预测相关性的新度量方法，用于评估原始行为的保留程度。

提出的方法

• 使用插值分解（ID）将剪枝通道表示为保留通道的线性组合，从而实现在层间传播校正。
• 对激活输出应用ID，以同时选择和消除通道，同时更新剩余权重以校正被移除神经元的影响。
• 构建一个插值矩阵，将剪枝通道的信息融合到下一层，从而在减小层大小的同时保持网络结构。
• 利用无标签数据计算ID近似，避免依赖标签数据或微调。
• 为单层网络推导泛化误差的理论界，以指导自动逐层压缩尺寸设定的启发式方法。
• 引入预测相关性度量，以定量评估压缩后原始模型决策的保留程度。

实验结果

研究问题

• RQ1 是否存在一种压缩方法，可在无需微调的情况下保留逐样本决策，从而确保鲁棒性与公平性？
• RQ2 如何利用插值分解在深层网络中同时实现通道剪枝与移除后的校正？
• RQ3 对泛化能力的理论界是否可用于指导深层架构中自动的逐层压缩尺寸设定？
• RQ4 与微调基线相比，该方法在预测相关性与准确率方面的表现如何？
• RQ5 当剪枝集中缺少某些数据类别时，该方法是否对公平性与泛化能力具有鲁棒性？

主要发现

• 所提出的基于ID的压缩方法在将FLOPs压缩至50%后，于CIFAR-10上实现了与原始模型97.3%的预测相关性，显著优于微调基线（93.2%的相关性）。
• 在ImageNet上，该方法在使用10k个剪枝样本时，保持了68.06%的原始准确率，对剪枝集大小表现出极小的敏感性。
• 即使在剪枝集中排除某一类别，该方法仍能保持各类别的准确率，对未表示类别的性能合理（例如，在CIFAR-10中缺失类别的准确率为85.2%）。
• 针对单层网络的理论分析支持基于ID的校正方法，并可指导自动逐层压缩尺寸设定的启发式方法。
• 压缩成本（包括ID计算）与微调相比可忽略不计，ID计算仅需1,000个数据点且运行时间极短。
• 由于其结构保持特性，该方法可与其他压缩技术兼容，支持在实际流水线中组合使用。