[论文解读] ESAI: Efficient Split Artificial Intelligence via Early Exiting Using Neural Architecture Search

Behnam Zeinali, Di Zhuang+1 more|arXiv (Cornell University)|Jun 21, 2021

Advanced Neural Network Applications参考文献 55被引用 6

一句话总结

该论文提出ESA I，一种分裂式人工智能框架，结合神经架构搜索、知识蒸馏与多出口提前退出机制，动态决定是否在设备端本地分类或将数据卸载至云端。通过基于分类置信度的提前退出机制，并优化轻量化客户端模型，ESA I将通信成本降至最低——仅将40%的测试数据发送至服务器，同时实现92%的整体准确率，优于独立的客户端或服务器模型。

ABSTRACT

Recently, deep neural networks have been outperforming conventional machine learning algorithms in many computer vision-related tasks. However, it is not computationally acceptable to implement these models on mobile and IoT devices and the majority of devices are harnessing the cloud computing methodology in which outstanding deep learning models are responsible for analyzing the data on the server. This can bring the communication cost for the devices and make the whole system useless in those times where the communication is not available. In this paper, a new framework for deploying on IoT devices has been proposed which can take advantage of both the cloud and the on-device models by extracting the meta-information from each sample's classification result and evaluating the classification's performance for the necessity of sending the sample to the server. Experimental results show that only 40 percent of the test data should be sent to the server using this technique and the overall accuracy of the framework is 92 percent which improves the accuracy of both client and server models.

研究动机与目标

• 解决在资源受限的物联网和移动设备上部署高精度深度学习模型所面临的挑战，这些设备通信带宽有限。
• 通过仅将不确定或复杂样本智能卸载至云端，降低移动AI系统中的通信开销与能耗。
• 通过将知识蒸馏与神经架构搜索相结合，构建紧凑的客户端模型，提升模型准确率与效率。
• 通过多出口深度神经网络实现灵活、自适应的推理，当置信度较高时可提前完成分类。
• 设计一种即使在网络连接间歇或不可用时也能保持高性能的系统。

提出的方法

• 该框架采用客户端-服务器分离的DNN架构，客户端运行轻量化、经NAS优化的模型，并配备多个提前退出头。
• 神经架构搜索（NAS）通过大型教师模型的知识蒸馏进行引导，生成适用于客户端的紧凑且高精度的学生模型。
• 决策单元在每个退出点评估分类置信度，并判断是否在本地分类或转发至服务器。
• 通过在神经网络不同深度处设置多个分类头，实现提前退出机制，当预测置信度超过阈值时即可提前完成推理。
• 系统利用分类结果中的元信息指导卸载决策，最大限度减少不必要的数据传输。
• 该框架采用端到端训练，损失函数综合平衡了准确率、能效与通信成本。

实验结果

研究问题

• RQ1 分裂式AI框架能否基于分类置信度动态决定何时在设备端分类，何时将任务卸载至云端？
• RQ2 如何通过结合知识蒸馏的神经架构搜索提升轻量化客户端模型的准确率与效率？
• RQ3 提前退出机制在移动与物联网推理中能在多大程度上降低计算成本与通信开销？
• RQ4 当网络连接不可靠或中断时，所提出的框架是否仍能保持高准确率？
• RQ5 将多出口DNN与NAS及知识蒸馏相结合，如何改善准确率与效率之间的权衡？

主要发现

• 该框架将发送至服务器的样本数量减少至测试数据的40%，显著降低通信成本。
• 整体系统实现92%的准确率，超过独立客户端或服务器模型的性能表现。
• 在NAS中引入知识蒸馏，生成了紧凑的客户端模型，在尺寸减小与计算负载降低的情况下仍保持高准确率。
• 提前退出机制使系统能在浅层网络深度完成大量输入的分类，降低能耗与推理时间。
• 该框架已在真实设备上成功实现，证明其在边缘AI部署中的实际可行性。
• 基于分类不确定性的决策单元能有效识别出需要更高精度服务器处理的样本。