[论文解读] FastVA: Deep Learning Video Analytics Through Edge Processing and NPU in Mobile

Tianxiang Tan, Guohong Cao|arXiv (Cornell University)|Jan 13, 2020

IoT and Edge/Fog Computing参考文献 27被引用 4

一句话总结

FastVA 是一种移动视频分析框架，通过动态结合边缘卸载与神经网络处理单元（NPU）加速，优化深度学习推理。通过将准确性与效用驱动的调度问题建模为整数规划问题，并应用启发式求解方法，FastVA 在高网络延迟条件下相比卸载方案实现了高达30%的准确率提升，并在不同网络条件下均优于本地执行和基线方法，在准确率与帧率方面表现更优。

ABSTRACT

Many mobile applications have been developed to apply deep learning for video analytics. Although these advanced deep learning models can provide us with better results, they also suffer from the high computational overhead which means longer delay and more energy consumption when running on mobile devices.To address this issue, we propose a framework called FastVA, which supports deep learning video analytics through edge processing and Neural Processing Unit (NPU) in mobile. The major challenge is to determine when to offload the computation and when to use NPU. Based on the processing time and accuracy requirement of the mobile application, we study two problems: Max-Accuracy where the goal is to maximize the accuracy under some time constraints, and Max-Utility where the goal is to maximize the utility which is a weighted function of processing time and accuracy. We formulate them as integer programming problems and propose heuristics based solutions. We have implemented FastVA on smartphones and demonstrated its effectiveness through extensive evaluations.

研究动机与目标

• 为解决深度学习模型在移动设备上带来的高计算开销，该问题导致延迟长且能耗高。
• 研究在不同网络条件下，基于 NPU 的本地推理（速度快但准确率较低）与边缘卸载（准确率高但网络差时延迟高）之间的权衡。
• 设计一种框架，根据实时网络状况和应用特定的准确率/时间需求，智能调度视频帧在 NPU 与边缘服务器之间的处理。
• 建立并求解两个优化问题：Max-Accuracy（在时间约束下最大化准确率）与 Max-Utility（最大化准确率与处理时间的加权函数）。

提出的方法

• 将 Max-Accuracy 问题建模为整数规划问题，以在时间约束下为每帧选择最优处理节点（NPU 或边缘服务器）。
• 提出一种基于启发式的 Max-Accuracy 求解方法，当网络延迟较低时优先选择卸载，当延迟较高时优先选择 NPU，依据帧处理时间与准确率之间的权衡。
• 将 Max-Utility 问题建模为结合准确率与帧率的加权效用函数，引入可调参数 α 以平衡两者。
• 设计一种基于近似的启发式方法求解 Max-Utility，根据网络带宽与上传延迟，自适应选择本地 NPU 处理或边缘卸载。
• 利用实时网络监控（带宽、上传延迟）与模型特性（模型大小、准确率、在 NPU/CPU 上的执行时间）指导调度决策。
• 在智能手机上实现 FastVA，并在不同帧率、上传延迟与网络条件下，与基线方法（Local、Offload、DeepDecision、Optimal）进行对比评估。

实验结果

研究问题

• RQ1 如何在计算资源有限的移动设备上加速深度学习视频分析？
• RQ2 在不同网络条件下，基于 NPU 的本地推理与边缘卸载之间的最优权衡是什么？
• RQ3 如何动态调度视频帧在 NPU 与边缘服务器之间处理，以在时间约束下最大化准确率？
• RQ4 如何在实时移动视频分析中实时优化一个统一的效用指标，以平衡准确率与处理时间？
• RQ5 在真实网络波动条件下，混合 NPU-边缘策略相比纯本地处理或仅卸载方案的性能增益如何？

主要发现

• 在高上传延迟（如 300 ms）条件下，Offload 方法因帧丢失导致准确率显著下降（最高达 30%），而 FastVA 的 Max-Accuracy 启发式方法通过切换至 NPU 处理，保持了高准确率。
• 当网络带宽较低时，Offload 方法性能显著下降，甚至可能劣于本地处理；FastVA 的 Max-Utility 启发式方法通过适应网络条件，维持了更高的效用。
• 在 30 fps 与 100 ms 上传延迟条件下，FastVA 的 Max-Utility 在效用方面相比 Offload、Local 与 DeepDecision 最高提升 25%，尤其在权衡参数 α 较高（偏向准确率）时表现更优。
• 当帧率从 30 fps 提升至 50 fps 时，FastVA 维持了高效率与高帧率，优于 Offload 与 DeepDecision，尤其在 α 较低（偏向速度）时优势明显。
• 随着上传延迟增加，FastVA 的 Max-Utility 与 Max-Accuracy 启发式方法性能下降速度慢于 Offload 与 DeepDecision，表现出对网络抖动的强鲁棒性。
• 通过穷举搜索计算的 Optimal 解作为上界，FastVA 的启发式方法在实际中实现了该最优性能的 90%–95%。