[论文解读] Energy-efficient Amortized Inference with Cascaded Deep Classifiers

Jiaqi Guan, Yang Liu+2 more|arXiv (Cornell University)|Oct 10, 2017

Advanced Neural Network Applications参考文献 25被引用 4

一句话总结

本文提出一种级联深度分类器框架，通过REINFORCE训练的策略动态选择每个输入图像的最小足够神经网络，以平衡准确率与FLOPs成本。该方法在CIFAR-10/100上将推理成本降低至20%以下，在ImageNet32x32上降低至66%，同时准确率与标准ResNets相当或更高。

ABSTRACT

Deep neural networks have been remarkable successful in various AI tasks but often cast high computation and energy cost for energy-constrained applications such as mobile sensing. We address this problem by proposing a novel framework that optimizes the prediction accuracy and energy cost simultaneously, thus enabling effective cost-accuracy trade-off at test time. In our framework, each data instance is pushed into a cascade of deep neural networks with increasing sizes, and a selection module is used to sequentially determine when a sufficiently accurate classifier can be used for this data instance. The cascade of neural networks and the selection module are jointly trained in an end-to-end fashion by the REINFORCE algorithm to optimize a trade-off between the computational cost and the predictive accuracy. Our method is able to simultaneously improve the accuracy and efficiency by learning to assign easy instances to fast yet sufficiently accurate classifiers to save computation and energy cost, while assigning harder instances to deeper and more powerful classifiers to ensure satisfiable accuracy. With extensive experiments on several image classification datasets using cascaded ResNet classifiers, we demonstrate that our method outperforms the standard well-trained ResNets in accuracy but only requires less than 20% and 50% FLOPs cost on the CIFAR-10/100 datasets and 66% on the ImageNet dataset, respectively.

研究动机与目标

• 解决深度神经网络在移动和边缘应用中能耗与计算成本过高的问题。
• 在不牺牲性能的前提下，同时优化预测准确率与测试时的计算成本。
• 实现动态、实例特定的模型选择，将较简单的样本分配给更小的网络，将更难的样本分配给更深的模型。
• 开发一个端到端可训练的框架，联合优化分类器级联与选择策略。
• 通过学习的停止策略实现计算成本的摊销最小化，同时保持高准确率。

提出的方法

• 构建一系列逐步加深的ResNet分类器级联，其容量和准确率逐级递增。
• 使用REINFORCE强化学习算法训练策略网络，以决定何时停止并输出预测结果。
• 将训练目标表述为预测准确率（奖励）与期望FLOPs成本（约束）之间的权衡。
• 对分类器级联与选择策略进行端到端联合训练，以优化准确率-成本权衡。
• 在推理过程中，根据置信度和准确率，按顺序评估级联中的每个分类器，直到满足停止条件。
• 在推理阶段应用该策略，将每个输入分配给能产生足够准确预测的最小分类器。

实验结果

研究问题

• RQ1 通过学习的选择策略，级联的深度神经网络集成能否在保持更高准确率的同时，实现比标准深度网络更低的计算成本？
• RQ2 强化学习策略在多大程度上能动态地将输入分配给级联中最小足够的分类器？
• RQ3 所提出的方法在保持或提升准确率的前提下，能在多大程度上减少FLOPs，尤其是在具有挑战性的图像分类基准上？
• RQ4 数据集中图像难度的分布（如CIFAR与ImageNet）如何影响选择策略与计算节省效果？
• RQ5 与仅训练策略而固定预训练分类器的简化基线相比，级联与策略的联合训练是否能获得更优的准确率-成本权衡？

主要发现

• 所提模型在CIFAR-10和CIFAR-100上的Top-1准确率与经过良好训练的ResNet110相当或更高，但FLOPs分别仅使用了19.5%和49.8%。
• 在ImageNet32x32上，该模型匹配最大静态ResNet的Top-5准确率，但仅需66.22%的FLOPs。
• 在CIFAR-10和CIFAR-100上，超过50%的图像被分配给最小分类器，表明存在大量易于分类的样本。
• 在ImageNet32x32上，近一半的图像被分配给较小的分类器，证明该方法即使在复杂数据集中也能有效识别较简单的样本。
• 联合训练方法优于简化基线（即分类器固定，仅训练策略），尤其在低FLOPs预算下表现更优。
• 可视化分析表明，策略能正确地将视觉上简单的图像（如铜锣、伞菌）分配给浅层分类器，而将复杂的图像（如陶工转盘）分配给深层模型。