[论文解读] ApproxDet: Content and Contention-Aware Approximate Object Detection for Mobiles

Ran Xu, Chen-lin Zhang+6 more|arXiv (Cornell University)|Oct 21, 2020

Advanced Neural Network Applications参考文献 66被引用 7

一句话总结

ApproxDet 是一种面向移动设备的内容与竞争感知的近似目标检测框架，能够根据实时视频内容和系统资源状况，从多分支 Faster R-CNN 架构中动态选择推理路径。通过结合数据驱动的性能建模与延迟-SLA 驱动的调度器，其在保持低切换开销的同时，实现了比 YOLOv3 低 52% 的延迟和 11.1% 更高的准确率，其单模型设计确保了高效性。

ABSTRACT

Advanced video analytic systems, including scene classification and object detection, have seen widespread success in various domains such as smart cities and autonomous transportation. With an ever-growing number of powerful client devices, there is incentive to move these heavy video analytics workloads from the cloud to mobile devices to achieve low latency and real-time processing and to preserve user privacy. However, most video analytic systems are heavyweight and are trained offline with some pre-defined latency or accuracy requirements. This makes them unable to adapt at runtime in the face of three types of dynamism -- the input video characteristics change, the amount of compute resources available on the node changes due to co-located applications, and the user's latency-accuracy requirements change. In this paper we introduce ApproxDet, an adaptive video object detection framework for mobile devices to meet accuracy-latency requirements in the face of changing content and resource contention scenarios. To achieve this, we introduce a multi-branch object detection kernel (layered on Faster R-CNN), which incorporates a data-driven modeling approach on the performance metrics, and a latency SLA-driven scheduler to pick the best execution branch at runtime. We couple this kernel with approximable video object tracking algorithms to create an end-to-end video object detection system. We evaluate ApproxDet on a large benchmark video dataset and compare quantitatively to AdaScale and YOLOv3. We find that ApproxDet is able to adapt to a wide variety of contention and content characteristics and outshines all baselines, e.g., it achieves 52% lower latency and 11.1% higher accuracy over YOLOv3.

研究动机与目标

• 为应对移动设备上视频目标检测在运行时动态变化的条件（包括变化的视频内容和波动的系统资源可用性）所带来的挑战。
• 克服现有目标检测器静态特性带来的局限，使其无法适应输入内容或系统竞争的实时变化。
• 设计一种单模型系统，实现在多样化工作负载下对准确率和延迟的运行时自适应。
• 将近似计算原理与移动视觉工作负载的深度学习推理相结合，以保护隐私并降低延迟。
• 通过联合优化内容感知与系统感知，实现在边缘设备上的实时、隐私保护型视频分析。

提出的方法

• 提出一种基于多分支 Faster R-CNN 的检测内核，支持根据输入内容和系统条件动态选择推理路径。
• 采用数据驱动的性能建模方法，预测在不同资源竞争水平下各分支的延迟与准确率。
• 引入延迟-SLA 驱动的调度器，在运行时根据用户定义的延迟约束选择最优执行分支。
• 集成可近似的视频目标跟踪算法，以减少时间上具有连贯性的视频帧中的冗余处理。
• 采用单个自适应 DNN 模型，而非多个共驻留模型，从而最小化内存占用和切换开销。
• 利用运行时反馈，根据视频内容动态变化和并发应用程序工作负载，动态调整检测复杂度。

实验结果

研究问题

• RQ1 如何使移动设备上的目标检测能够适应视频内容特征的变化？
• RQ2 在推理过程中，如何建模并缓解来自共驻应用程序的系统级资源竞争？
• RQ3 单模型架构是否能在延迟、准确率和运行时自适应性方面优于多模型或模型卸载方法？
• RQ4 在移动视频分析中，联合实现内容感知与竞争感知能在多大程度上改善准确率与延迟之间的权衡？
• RQ5 在真实世界动态条件下，所提出的系统与 YOLOv3 和 AdaScale 等最先进模型相比表现如何？

主要发现

• 在 ImageNet VID 数据集上，ApproxDet 相较于 YOLOv3 将平均推理延迟降低了 52%。
• 在相同延迟约束下，ApproxDet 的平均精度均值（mAP）比 YOLOv3 高出 11.1%。
• 由于采用单模型设计，系统保持了低切换开销，避免了运行时的模型加载或切换操作。
• ApproxDet 成功适应了多样化的内容与竞争场景，在多种真实世界条件下表现出强鲁棒性。
• 延迟-SLA 驱动的调度器有效平衡了准确率与延迟，确保满足用户定义的性能要求。
• 与 AdaScale 相比，ApproxDet 在延迟和准确率方面均表现更优，其优势源于对内容与系统竞争的联合建模。