[论文解读] Adaptive Selection of Deep Learning Models on Embedded Systems

Ben Taylor, Vicent Sanz Marco+3 more|arXiv (Cornell University)|May 11, 2018

Advanced Neural Network Applications参考文献 57被引用 5

一句话总结

本文提出了一种自适应的、基于机器学习的运行时模型选择框架，用于嵌入式系统，能够根据输入特征和精度要求动态选择最优的深度神经网络（DNN）。通过离线训练一个预测模型以从一组预训练的DNN中进行选择，该方法在Jetson TX2平台上对ImageNet数据集的测试中，相比最佳单个DNN模型，实现了7.52%更高的top-1准确率和1.8倍的推理速度提升。

ABSTRACT

The recent ground-breaking advances in deep learning networks ( DNNs ) make them attractive for embedded systems. However, it can take a long time for DNNs to make an inference on resource-limited embedded devices. Offloading the computation into the cloud is often infeasible due to privacy concerns, high latency, or the lack of connectivity. As such, there is a critical need to find a way to effectively execute the DNN models locally on the devices. This paper presents an adaptive scheme to determine which DNN model to use for a given input, by considering the desired accuracy and inference time. Our approach employs machine learning to develop a predictive model to quickly select a pre-trained DNN to use for a given input and the optimization constraint. We achieve this by first training off-line a predictive model, and then use the learnt model to select a DNN model to use for new, unseen inputs. We apply our approach to the image classification task and evaluate it on a Jetson TX2 embedded deep learning platform using the ImageNet ILSVRC 2012 validation dataset. We consider a range of influential DNN models. Experimental results show that our approach achieves a 7.52% improvement in inference accuracy, and a 1.8x reduction in inference time over the most-capable single DNN model.

研究动机与目标

• 解决在资源受限的嵌入式设备上运行深度学习模型时面临的高推理延迟和资源消耗问题。
• 克服模型压缩和云卸载方法的局限性，避免因精度损失、隐私问题和网络依赖带来的影响。
• 实现在运行时根据输入特征动态选择预训练DNN模型，以平衡精度和推理速度。
• 开发一种自动化的、可学习的启发式方法进行模型选择，以适应不同输入复杂度和用户定义的精度约束。

提出的方法

• 使用从输入数据中提取的特征（如图像复杂度、纹理、分辨率）及其对应的DNN推理性能指标，在离线状态下训练一个预测性机器学习模型。
• 采用一组预训练的、多样化的DNN模型（如MobileNet、ResNet、DenseNet）作为候选模型，这些模型在精度与速度之间具有不同的权衡。
• 自动调整并选择最能预测给定输入和精度约束下最优DNN模型的输入特征。
• 在运行时，通过将新输入的特征输入到训练好的预测器中，推断出最适合的DNN模型，从而在满足精度目标的前提下最小化延迟。
• 通过智能选择而非运行所有模型，实现类似集成模型的行为，发挥多个模型的优势。
• 通过最小化模型选择的开销并确保与NVIDIA Jetson TX2等平台的兼容性，优化真实嵌入式环境中的部署。

实验结果

研究问题

• RQ1 学习得到的预测器能否有效为给定输入选择最优DNN模型，以在保持所需精度的前提下最小化推理时间？
• RQ2 在嵌入式硬件上，自适应模型选择与使用最准确的单个DNN模型相比，在精度和推理速度方面表现如何？
• RQ3 基于输入的特定特征，在多大程度上能够预测给定工作负载和精度约束下的最优DNN模型？
• RQ4 该方法是否可以在不重新训练的情况下推广到多种DNN架构和输入数据分布上？
• RQ5 在嵌入式平台上，与静态模型部署相比，自适应选择在精度和速度方面带来了多大的性能提升？

主要发现

• 所提出的自适应模型选择方法在ImageNet ILSVRC 2012验证集上，相比最准确的单个DNN模型，实现了7.52%的top-1准确率提升。
• 与表现最佳的单个DNN模型相比，该方法将平均推理时间减少了1.8倍，显著提升了实时性能。
• 基于输入特征，学习得到的预测器在选择最优DNN模型方面表现出高精度，显示出对多样化图像输入的鲁棒性。
• 该方法有效平衡了模型精度与推理速度之间的权衡，在两项指标上均优于静态模型部署。
• 该框架可移植于不同的精度要求，并可应用于任何具有不同速度-精度权衡的预训练DNN集合。
• 运行时模型选择的开销极低，使该方法在具有严格延迟和功耗约束的实时嵌入式应用中具有实际可行性。