[论文解读] Class Means as an Early Exit Decision Mechanism.

Alperen Görmez, Erdem Koyuncu|arXiv (Cornell University)|Mar 1, 2021

Adversarial Robustness in Machine Learning参考文献 20被引用 5

一句话总结

该论文提出了一种新型神经网络早停机制，利用特征的类别均值来决定是否提前预测，从而无需对内部分类器进行基于梯度的训练。该方法在固定训练预算下实现了更高的准确率，并在与现有方法结合时表现更优，为低功耗边缘设备提供了改进的准确率-计算权衡。

ABSTRACT

State-of-the-art neural networks with early exit mechanisms often need considerable amount of training and fine-tuning to achieve good performance with low computational cost. We propose a novel early exit technique based on the class means of samples. Unlike most existing schemes, our method does not require gradient-based training of internal classifiers. This makes our method particularly useful for neural network training in low-power devices, as in wireless edge networks. In particular, given a fixed training time budget, our scheme achieves higher accuracy as compared to existing early exit mechanisms. Moreover, if there are no limitations on the training time budget, our method can be combined with an existing early exit scheme to boost its performance, achieving a better trade-off between computational cost and network accuracy.

研究动机与目标

• 解决现有神经网络早停机制在训练和微调过程中成本过高的问题。
• 通过消除内部分类器的基于梯度的训练，实现在低功耗边缘设备上的高效推理。
• 与最先进早停方法相比，在固定训练时间预算下实现更高的准确率。
• 为现有早停方案提供即插即用的增强方式，以改善其准确率-计算权衡。

提出的方法

• 该方法在训练期间计算神经网络最后一层特征的类别均值。
• 在推理阶段，网络将当前特征激活与类别均值进行比较，以决定是否提前退出。
• 退出决策基于输入特征与类别均值之间的最小距离，且无需额外可训练参数。
• 该方法兼容任意预训练网络，无需对内部分类器进行微调或重新训练。
• 可通过将类别均值用作置信度代理，与现有早停方案结合，以提升其性能。

实验结果

研究问题

• RQ1 能否有效利用特征的类别均值作为神经网络早停的决策机制？
• RQ2 消除内部分类器的基于梯度训练是否能提升低功耗设备上的效率与性能？
• RQ3 与现有早停技术相比，该方法在固定训练时间预算下的表现如何？
• RQ4 该方法能否用于提升现有早停方案在准确率和计算效率方面的表现？

主要发现

• 在固定训练时间预算下，所提方法的准确率高于现有早停机制。
• 该方法消除了对内部分类器进行基于梯度训练的需求，降低了计算成本和训练开销。
• 由于其轻量级推理机制，该方法在低功耗边缘环境中尤为有效。
• 当与现有早停方案结合时，该方法可改善准确率-计算权衡，提供更优性能。