[论文解读] Adaptive Inference through Early-Exit Networks: Design, Challenges and Directions

Stefanos Laskaridis, Alexandros Kouris+1 more|arXiv (Cornell University)|Jun 9, 2021

Advanced Neural Network Applications参考文献 82被引用 13

一句话总结

本文全面综述了早期退出网络（early-exit networks），这是一种自适应推理形式，允许深度神经网络（DNNs）根据输入的难易程度和置信度，在多个深度层级上做出预测。通过在不同网络层战略性地放置分类器（即退出点），并采用动态退出策略，该方法在不牺牲准确率的前提下，显著降低了推理延迟和计算量，尤其适用于移动设备和边缘设备。

ABSTRACT

DNNs are becoming less and less over-parametrised due to recent advances in efficient model design, through careful hand-crafted or NAS-based methods. Relying on the fact that not all inputs require the same amount of computation to yield a confident prediction, adaptive inference is gaining attention as a prominent approach for pushing the limits of efficient deployment. Particularly, early-exit networks comprise an emerging direction for tailoring the computation depth of each input sample at runtime, offering complementary performance gains to other efficiency optimisations. In this paper, we decompose the design methodology of early-exit networks to its key components and survey the recent advances in each one of them. We also position early-exiting against other efficient inference solutions and provide our insights on the current challenges and most promising future directions for research in the field.

研究动机与目标

• 分析早期退出网络的设计空间，包括退出点的放置、网络架构及训练策略。
• 识别部署早期退出网络中的关键挑战，如推理开销、梯度冲突以及置信度校准问题。
• 探索未来研究方向，包括时间感知、分层推理、个性化，以及与联邦学习和概率学习的集成。
• 将早期退出定位为与模型剪枝、量化和知识蒸馏并列的互补性效率技术。
• 通过解耦训练与运行时配置，实现‘一次训练，处处部署’的部署模式。

提出的方法

• 在主干DNN的不同深度处设计多个分类器头（即退出点）的早期退出网络。
• 采用运行时退出策略，基于预测置信度或不确定性，选择最早满足置信度阈值的退出点。
• 使用联合训练策略，同时优化所有退出点，以在所有退出头之间平衡准确率。
• 应用知识蒸馏或自蒸馏技术，在训练后将早期退出点适配到新的数据分布。
• 探索基于神经架构搜索（NAS）或结构化搜索的方法，以协同优化退出点数量、位置及网络架构。
• 集成概率推理（如贝叶斯神经网络），以更准确地量化不确定性并指导退出决策。

实验结果

研究问题

• RQ1 如何设计早期退出网络，在最小化计算开销的同时最大化准确率和加速效果？
• RQ2 哪些训练策略能有效平衡浅层与深层退出点之间的梯度冲突，而不会降低性能？
• RQ3 如何使退出策略能够适应设备约束、输入难度和运行时需求？
• RQ4 在序列输入中，时间或空间相关性如何改善早期退出决策？
• RQ5 如何将早期退出网络扩展以支持个性化、联邦学习或分层分类？

主要发现

• 在简单输入上，早期退出网络可实现高达2–3倍的加速，同时在困难样本上仍保持高准确率。
• 采用基于置信度的退出策略对多个退出点进行联合训练，其泛化性能优于单独训练各退出点。
• 不恰当的退出点位置或策略设计可能引入显著的开销，尤其当早期退出点无法自信预测时。
• 置信度校准至关重要；当前方法常错误表示模型不确定性，导致次优的退出决策。
• 未来方向如分层推理和时间感知机制，可进一步提升视频和序列任务中的效率。
• 贝叶斯神经网络等概率模型天然支持不确定性感知的早期退出，为鲁棒部署提供了有前景的路径。