[论文解读] Adaptive Neural Networks for Efficient Inference

Tolga Bolukbasi, Joseph Wang+2 more|arXiv (Cornell University)|Feb 25, 2017

Machine Learning and Data Classification参考文献 4被引用 134

一句话总结

本文提出自适应早期退出与自适应网络选择，以降低测试时计算量，并在尽量不损失准确率的前提下实现高达2.8倍的ImageNet加速，通过将简单案例路由到成本更低的模型或早期退出。

ABSTRACT

We present an approach to adaptively utilize deep neural networks in order to reduce the evaluation time on new examples without loss of accuracy. Rather than attempting to redesign or approximate existing networks, we propose two schemes that adaptively utilize networks. We first pose an adaptive network evaluation scheme, where we learn a system to adaptively choose the components of a deep network to be evaluated for each example. By allowing examples correctly classified using early layers of the system to exit, we avoid the computational time associated with full evaluation of the network. We extend this to learn a network selection system that adaptively selects the network to be evaluated for each example. We show that computational time can be dramatically reduced by exploiting the fact that many examples can be correctly classified using relatively efficient networks and that complex, computationally costly networks are only necessary for a small fraction of examples. We pose a global objective for learning an adaptive early exit or network selection policy and solve it by reducing the policy learning problem to a layer-by-layer weighted binary classification problem. Empirically, these approaches yield dramatic reductions in computational cost, with up to a 2.8x speedup on state-of-the-art networks from the ImageNet image recognition challenge with minimal (<1%) loss of top5 accuracy.

研究动机与目标

• 推动在不影响准确性的前提下减少深度神经网络的测试时成本。
• 提出两种自适应方案：(1) 网络内的提前退出；(2) 在成本不同的多网络之间进行自适应选择。
• 建立一个全局风险目标，平衡计算时间和准确性，并通过逐层加权二分类求解。
• 以预训练模型在ImageNet上展示显著的运行时节省，同时将Top-5准确率维持在一个紧凑的范围内。

提出的方法

• 定义一个自适应早退策略，在每一层之后决定是否以当前预测退出，还是继续到下一层。
• 将全局目标表达为时间与准确性的权衡，并将策略学习简化为逐层加权二分类。
• 训练自底向上的退出函数序列，允许常量或线性策略族，包括基于熵的置信度特征。
• 扩展到跨越级联/图结构的多模型自适应网络选择，策略决定是否前进到更昂贵的网络。
• 使用重要性加权学习形式，在时间约束和准确损失惩罚下优化退出/选择决策。

实验结果

研究问题

• RQ1 中间层的提早退出是否在降低推理时间的同时保持准确性？
• RQ2 跨多模型的网络选择策略是否比单一模型的早退带来更大加速？
• RQ3 自适应策略离能够知晓真实实例难度和错误的 oracle 有多近？
• RQ4 在标准架构上应用自适应策略对ImageNet风格的目标识别的实际影响是什么？

主要发现

• 自适应早退可以将GoogLeNet和ResNet-50的速度提升20-30%，且Top-5准确率损失很小。
• 由多个模型组成的网络级联在Top-5损失1%时实现最高2.8x加速，且在不变更准确度时达到1.9x。
• 使用基于熵的置信度特征训练的策略在各种预算设定下接近oracle的表现。
• 该方法与边缘/云/雾计算部署兼容，并且不需要修改底层网络结构。