[论文解读] AppealNet: An Efficient and Highly-Accurate Edge/Cloud Collaborative Architecture for DNN Inference

Min Li, Yu Li+3 more|arXiv (Cornell University)|May 10, 2021

Advanced Neural Network Applications参考文献 26被引用 5

一句话总结

AppealNet 提出了一种双头神经网络架构，通过联合优化轻量级 DNN（小网络）的近似能力和预测头的可靠输入分类能力，实现了精准且高效的边缘-云协同。通过使用一种新型损失函数联合训练两个分支，AppealNet 在保持接近理想准确率的同时，相比最先进方法实现了高达 80% 的能效节省，尤其在人脸识别关键点检测等分类与回归任务中表现出色。

ABSTRACT

This paper presents AppealNet, a novel edge/cloud collaborative architecture that runs deep learning (DL) tasks more efficiently than state-of-the-art solutions. For a given input, AppealNet accurately predicts on-the-fly whether it can be successfully processed by the DL model deployed on the resource-constrained edge device, and if not, appeals to the more powerful DL model deployed at the cloud. This is achieved by employing a two-head neural network architecture that explicitly takes inference difficulty into consideration and optimizes the tradeoff between accuracy and computation/communication cost of the edge/cloud collaborative architecture. Experimental results on several image classification datasets show up to more than 40% energy savings compared to existing techniques without sacrificing accuracy.

研究动机与目标

• 为解决现有大/小神经网络系统依赖不准确置信度分数进行输入路由所导致的低效问题。
• 开发一种可信且理论基础坚实的 DNN 推理方法，用于区分简单与困难输入。
• 在不牺牲准确率的前提下，实现边缘-云 AI 系统中的显著能效节省。
• 将大/小系统适用范围从分类任务扩展至回归任务，如人脸识别关键点检测。

提出的方法

• 将大/小网络设计建模为联合优化问题，整合近似器与预测器的设计。
• 引入双头架构，使小网络同时输出预测结果与吸引力概率。
• 设计一种新型训练损失函数，实现对近似与吸引力预测任务的端到端优化。
• 通过组合损失联合训练小网络，平衡分类准确率与可靠的吸引力阈值设定。
• 将该框架应用于分类与回归任务，回归任务使用 L2 损失，分类任务使用交叉熵损失。
• 采用基于阈值的路由机制：若吸引力概率超过 δ（例如 0.5），则将输入路由至大网络；否则使用小网络。

Figure 1: Prediction-based B/L system design.

实验结果

研究问题

• RQ1 与基于置信度的启发式方法相比，联合优化框架是否能提升大/小神经网络系统中输入区分的可靠性？
• RQ2 轻量级 DNN 中的双头架构如何实现边缘-云推理中准确且高效的路由决策？
• RQ3 AppealNet 在多样化 DNN 模型与数据集上，能在多大程度上降低能耗同时保持高准确率？
• RQ4 所提出方法能否有效扩展至人脸识别关键点检测等回归任务？
• RQ5 在真实部署场景中，跳过率与准确率下降之间的权衡关系如何？

主要发现

• AppealNet 相比最先进水平的大/小系统，最高可实现 80% 的能效节省，展现出显著的效率提升。
• 在 CIFAR-100 和 Tiny-ImageNet 上，AppealNet 在准确率下降 5.0% 的情况下，仍保持接近理想准确率，跳过率达到 99.93%。
• 在人脸识别关键点检测任务中，AppealNet 保持 RMSE 为 2.47，准确率为 94.93%，与原始模型相比性能下降可忽略。
• 在准确率下降 1.0% 的情况下，AppealNet 在人脸识别关键点检测任务中实现了 75.50% 的跳过率，表明其在真实部署中具有极高效率。
• 该方法在分类与回归任务中均表现有效，且不依赖启发式置信度分数，证明了其通用性。
• 理论分析证实，联合优化框架可实现可信的预测置信度，克服了基于 Softmax 的置信度度量方法的局限性。

Figure 2: Two-head architecture for the little network in AppealNet.