[论文解读] AccMPEG: Optimizing Video Encoding for Video Analytics

Kuntai Du, Qizheng Zhang+4 more|arXiv (Cornell University)|Apr 26, 2022

Advanced Neural Network Applications被引用 6

一句话总结

AccMPEG 是一种视频编码系统，通过使用轻量级模型学习宏块级别的精度梯度，优化视频分析的压缩效果，实现在低摄像头端计算开销下近实时、高精度的 DNN 推理。与最先进基线方法相比，它将端到端延迟降低了 10–43%，并将精度提升了最高 3%。

ABSTRACT

With more videos being recorded by edge sensors (cameras) and analyzed by computer-vision deep neural nets (DNNs), a new breed of video streaming systems has emerged, with the goal to compress and stream videos to remote servers in real time while preserving enough information to allow highly accurate inference by the server-side DNNs. An ideal design of the video streaming system should simultaneously meet three key requirements: (1) low latency of encoding and streaming, (2) high accuracy of server-side DNNs, and (3) low compute overheads on the camera. Unfortunately, despite many recent efforts, such video streaming system has hitherto been elusive, especially when serving advanced vision tasks such as object detection or semantic segmentation. This paper presents AccMPEG, a new video encoding and streaming system that meets all the three requirements. The key is to learn how much the encoding quality at each (16x16) macroblock can influence the server-side DNN accuracy, which we call accuracy gradient. Our insight is that these macroblock-level accuracy gradient can be inferred with sufficient precision by feeding the video frames through a cheap model. AccMPEG provides a suite of techniques that, given a new server-side DNN, can quickly create a cheap model to infer the accuracy gradient on any new frame in near realtime. Our extensive evaluation of AccMPEG on two types of edge devices (one Intel Xeon Silver 4100 CPU or NVIDIA Jetson Nano) and three vision tasks (six recent pre-trained DNNs) shows that AccMPEG (with the same camera-side compute resources) can reduce the end-to-end inference delay by 10-43% without hurting accuracy compared to the state-of-the-art baselines

研究动机与目标

• 为解决边缘视频分析中低延迟视频编码、高服务器端 DNN 推理精度和低摄像头端计算开销之间的平衡挑战。
• 克服现有视频压缩系统无法同时满足所有三项要求的局限性，尤其是在目标检测和语义分割等复杂任务中。
• 通过识别最影响最终 DNN 精度的视频区域（宏块），实现高效、实时的视频流传输。
• 设计一种系统，可快速适配任意新的预训练 DNN 而无需重新训练整个流水线。

提出的方法

• AccMPEG 引入了一个轻量级精度梯度模型（AccModel），用于预测每个 16×16 宏块的编码质量对最终 DNN 推理精度的影响。
• AccModel 是一个小型快速神经网络（如 MobileNet-SSD），经过训练以估计 DNN 输出对宏块级别质量变化的敏感度。
• 系统采用感兴趣区域（RoI）编码，结合 H.264/265 编码器，根据预测的精度梯度对每个宏块应用可变的质量级别。
• AccModel 仅需为每个新 DNN 重新训练或微调一次，即可实现对不同视觉模型的快速适应，且开销极低。
• 系统以批处理方式处理帧，每 k 帧（例如 k=10）运行一次 AccModel，并利用预测的梯度指导实时编码决策。
• 该系统利用一个关键洞察：预测精度梯度比执行完整语义分割更简单，从而实现高效、细粒度的宏块级质量控制。

实验结果

研究问题

• RQ1 轻量级模型能否准确预测宏块级别编码质量对视频分析最终 DNN 推理精度的影响？
• RQ2 如何在宏块级别优化视频编码，以在最小化摄像头端计算成本的同时提升 DNN 精度？
• RQ3 系统能否在保持或提升 DNN 推理精度的同时，实现相比最先进方法更低的端到端延迟？
• RQ4 系统在无需重新训练整个流水线的前提下，能多高效地适配新的 DNN 架构？

主要发现

• 与最先进基线方法相比，AccMPEG 将端到端推理延迟降低了 10–43%，同时保持或提升了 DNN 精度。
• 在三个视觉任务（目标检测、语义分割和分类）上，使用六个预训练 DNN，AccMPEG 平均将 DNN 推理精度提升了最高 3%。
• AccMPEG 与传统编码器相比，摄像头端计算开销几乎完全相同，使其在资源受限的边缘设备上具有实际可行性。
• 精度梯度模型（AccModel）具备足够的精度，可实现低延迟的、有效的宏块级编码决策。
• 与粗粒度方法（如基于目标或帧级别的质量控制）相比，该系统通过实现细粒度、上下文感知的质量分配，表现更优。
• 在 Intel Xeon 和 NVIDIA Jetson Nano 设备上的评估证实，该系统在多种边缘硬件平台上均具备高效性和可适配性。