[论文解读] Conditional Deep Learning for Energy-Efficient and Enhanced Pattern Recognition

Priyadarshini Panda, Abhronil Sengupta+1 more|arXiv (Cornell University)|Sep 29, 2015

Advanced Neural Network Applications参考文献 17被引用 7

一句话总结

本文提出条件深度学习（CDL），一种通过在卷积特征上使用线性网络进行早期预测，动态调整深度神经网络计算量的方法，使能耗降低1.84倍，MNIST分类准确率从97.5%提升至98.9%，同时平均运算量减少1.91倍。

ABSTRACT

Deep learning neural networks have emerged as one of the most powerful classification tools for vision related applications. However, the computational and energy requirements associated with such deep nets can be quite high, and hence their energy-efficient implementation is of great interest. Although traditionally the entire network is utilized for the recognition of all inputs, we observe that the classification difficulty varies widely across inputs in real-world datasets; only a small fraction of inputs require the full computational effort of a network, while a large majority can be classified correctly with very low effort. In this paper, we propose Conditional Deep Learning (CDL) where the convolutional layer features are used to identify the variability in the difficulty of input instances and conditionally activate the deeper layers of the network. We achieve this by cascading a linear network of output neurons for each convolutional layer and monitoring the output of the linear network to decide whether classification can be terminated at the current stage or not. The proposed methodology thus enables the network to dynamically adjust the computational effort depending upon the difficulty of the input data while maintaining competitive classification accuracy. We evaluate our approach on the MNIST dataset. Our experiments demonstrate that our proposed CDL yields 1.91x reduction in average number of operations per input, which translates to 1.84x improvement in energy. In addition, our results show an improvement in classification accuracy from 97.5% to 98.9% as compared to the original network.

研究动机与目标

• 解决深度神经网络在实际视觉应用中计算和能耗过高的问题。
• 认识到输入样本在分类难度上存在显著差异，其中大多数样本仅需极少计算量。
• 开发一种机制，对简单输入实现推理提前终止，同时不损失准确率。
• 通过基于特征的难度评估，实现条件化深层网络层激活，从而实现节能的深度学习。
• 在减少每输入平均计算量的同时，保持或提升分类准确率。

提出的方法

• 在每个卷积层后引入一个级联的线性网络输出神经元，用于评估输入难度。
• 将每个线性网络的输出作为置信度信号，以决定是否继续进入更深的网络层或提前终止。
• 仅当当前阶段的置信度不足以实现可靠分类时，才条件性地激活更深的网络层。
• 通过监控每个阶段线性网络的输出，动态确定每个输入所需的计算深度。
• 保持原始深度网络架构不变，但基于特征级别的置信度添加早期退出能力。
• 使用多阶段损失函数进行端到端训练，以同时优化早期退出决策和最终分类准确率。

实验结果

研究问题

• RQ1 深度神经网络能否通过基于输入难度动态调整推理深度，来降低计算和能耗？
• RQ2 在浅层提前终止推理是否会导致对简单输入的分类准确率下降？
• RQ3 在卷积特征上构建的级联线性网络能否可靠预测何时应提前退出，且不损害性能？
• RQ4 使用条件推理时，能耗节省与准确率提升之间的权衡关系如何？
• RQ5 在不牺牲模型准确率的前提下，平均运算量和能耗最多可降低多少？

主要发现

• 所提出的CDL框架在MNIST数据集上实现了每输入平均运算量1.91倍的减少。
• 由于早期推理终止，能耗相比标准深度网络降低了1.84倍。
• 分类准确率从基线网络的97.5%提升至CDL模型的98.9%。
• 该方法能有效识别出仅需极少计算量即可分类的简单输入，而较难的输入则继续通过更深的网络层。
• 级联线性网络为早期预测提供了一种可靠且高效的机制，且无需重新训练主网络。
• 准确率的提升表明，早期退出可能通过在训练期间聚焦于更难样本，帮助模型学习到更鲁棒的特征。