[论文解读] ApproxNet: Content and Contention Aware Video Analytics System for the Edge.

Ran Xu, Jinkyu Koo+5 more|arXiv (Cornell University)|Aug 28, 2019

Advanced Neural Network Applications参考文献 27被引用 12

一句话总结

ApproxNet 是一种用于边缘设备的动态视频分析系统，通过在单一 DNN 模型中引入两个运行时近似控制参数，根据内容复杂度、系统资源波动和用户需求自适应地平衡延迟与精度。它在无需集成模型（如 MCDNN）的内存和切换开销的情况下，实现了低且稳定的推理延迟。

ABSTRACT

Videos take lot of time to transport over the network, hence running analytics on live video at the edge devices, right where it was captured has become an important system driver. However these edge devices, e.g., IoT devices, surveillance cameras, AR/VR gadgets are resource constrained. This makes it impossible to run state-of-the-art heavy Deep Neural Networks (DNNs) on them and yet provide low and stable latency under various circumstances, such as, changes in the resource availability on the device, the content characteristics, or requirements from the user. In this paper we introduce ApproxNet, a video analytics system for the edge. It enables novel dynamic approximation techniques to achieve desired inference latency and accuracy trade-off under different system conditions and resource contentions, variations in the complexity of the video contents and user requirements. It achieves this by enabling two approximation knobs within a single DNN model, rather than creating and maintaining an ensemble of models (such as in MCDNN [Mobisys-16]). Ensemble models run into memory issues on the lightweight devices and incur large switching penalties among the models in response to runtime changes. We show that ApproxNet can adapt seamlessly at runtime to video content changes and changes in system dynamics to provide low and stable latency for object detection on a video stream. We compare the accuracy and the latency to ResNet [2015], MCDNN, and MobileNets [Google-2017].

研究动机与目标

• 解决在资源受限的边缘设备（如物联网传感器和监控摄像头）上运行重型 DNN 的挑战。
• 在视频内容和系统资源可用性动态变化的情况下，实现具有稳定低延迟的实时视频分析。
• 通过在单一模型中引入两个近似控制参数，消除维护多个 DNN 模型（如 MCDNN）所带来的内存和切换开销。
• 提供一种运行时自适应系统，根据内容和系统状况动态调整推理精度和计算量。
• 在用户需求和环境动态变化的情况下，实现推理精度与延迟之间的平衡权衡。

提出的方法

• 在单一 DNN 模型中引入两种近似控制参数：动态层剪枝和自适应量化，实现模型复杂度的运行时调整。
• 使用基于内容感知的启发式方法检测视频复杂度的变化，并触发相应的近似级别。
• 监控系统资源可用性（CPU、内存），并调整近似参数以维持目标延迟。
• 采用反馈控制机制，在动态工作负载下维持期望的精度-延迟权衡。
• 设计统一的模型架构，支持多种推理配置而无需模型切换。
• 利用现有的 DNN 框架，以最小修改集成近似控制机制。

实验结果

研究问题

• RQ1 如何使单一 DNN 模型能够动态适应其推理行为，以在不同视频内容和系统条件下维持低且稳定的延迟？
• RQ2 哪些最有效的近似控制参数可被集成到单一模型中，以替代集成模型而不损失精度？
• RQ3 具有运行时近似的统一模型是否能在内存效率和延迟稳定性方面优于多模型集成（如 MCDNN）？
• RQ4 系统如何在响应内容复杂度和资源约束降低计算负载的同时保持精度？
• RQ5 动态近似对实时视频分析中端到端推理延迟和精度有何影响？

主要发现

• ApproxNet 在不同视频内容和系统负载下，相比 MCDNN 和 MobileNets 实现了显著更低且更稳定的推理延迟。
• 该系统通过避免存储和切换多个 DNN 模型，减少了内存开销，而这是基于集成的方法所必需的。
• 在相同延迟约束下，ApproxNet 由于采用自适应近似而非固定模型选择，其平均精度高于 MCDNN。
• 动态近似机制可无缝适应内容变化和系统波动，且无明显性能下降。
• 通过将多个模型整合为单一可配置的推理路径，ApproxNet 降低了模型切换开销，提升了运行时效率。
• 评估结果表明，ApproxNet 在边缘设备上平衡延迟与精度方面优于 ResNet、MCDNN 和 MobileNets。