[论文解读] CoVA: Exploiting Compressed-Domain Analysis to Accelerate Video Analytics

Jinwoo Hwang, Minsu Kim+6 more|arXiv (Cornell University)|Jul 2, 2022

Anomaly Detection Techniques and Applications被引用 4

一句话总结

CoVA 提出了一种新颖的级联架构，通过在压缩域内执行目标跟踪和帧选择，加速视频分析，减少解码开销，同时支持时空查询。它通过利用压缩元数据进行斑点检测并选择性解码代表性帧，在仅造成适度精度损失的情况下，将最先进系统的吞吐量提升 4.8 倍。

ABSTRACT

Modern retrospective analytics systems leverage cascade architecture to mitigate bottleneck for computing deep neural networks (DNNs). However, the existing cascades suffer two limitations: (1) decoding bottleneck is either neglected or circumvented, paying significant compute and storage cost for pre-processing; and (2) the systems are specialized for temporal queries and lack spatial query support. This paper presents CoVA, a novel cascade architecture that splits the cascade computation between compressed domain and pixel domain to address the decoding bottleneck, supporting both temporal and spatial queries. CoVA cascades analysis into three major stages where the first two stages are performed in compressed domain while the last one in pixel domain. First, CoVA detects occurrences of moving objects (called blobs) over a set of compressed frames (called tracks). Then, using the track results, CoVA prudently selects a minimal set of frames to obtain the label information and only decode them to compute the full DNNs, alleviating the decoding bottleneck. Lastly, CoVA associates tracks with labels to produce the final analysis results on which users can process both temporal and spatial queries. Our experiments demonstrate that CoVA offers 4.8x throughput improvement over modern cascade systems, while imposing modest accuracy loss.

研究动机与目标

• 解决视频分析系统中因在 DNN 推理前处理完整视频解码而产生的解码瓶颈。
• 在回溯式视频分析中支持时间与空间查询，而现有级联系统常忽略此类查询。
• 通过将早期处理阶段卸载至压缩域，无需预处理或转码，实现高效、与查询无关的分析。
• 通过仅选择最少数量的帧进行完整 DNN 推理，最小化计算与存储成本。
• 在大幅减少解码帧数的同时，通过智能标签传播维持高精度。

提出的方法

• CoVA 将视频分析分为三个阶段：压缩域斑点跟踪、最小帧选择，以及使用标签传播的像素域 DNN 推理。
• 它使用微调的神经网络进行压缩域斑点跟踪，利用编码元数据（如运动矢量和量化参数）。
• 帧选择基于时空一致性，选择能以最低解码成本实现最大覆盖的代表性帧。
• 通过压缩域分析获得的运动与空间一致性，将所选帧的标签传播至整个轨迹。
• 该系统在标准视频编码格式（如 H.264/265）上运行，无需预处理、转码或自定义存储格式。
• 最终分析结果仅需为每段视频存储一次，并可重复用于所有后续查询，从而实现快速响应。

实验结果

研究问题

• RQ1 在无需预处理或转码的情况下，压缩域分析能否缓解视频分析中的解码瓶颈？
• RQ2 级联架构能否在保持高吞吐量的同时支持时间与空间查询？
• RQ3 仅使用编码元数据进行压缩域斑点跟踪，在目标检测方面效果如何？
• RQ4 在与查询无关的视频分析流水线中，解码成本降低与精度损失之间的权衡如何？
• RQ5 选择性解码代表性帧能否在最小化计算负载的同时保持精度？

主要发现

• CoVA 通过在压缩域处理大部分流水线，与最先进系统相比，将解码工作量减少了 83.6%。
• 该系统实现的吞吐量比现有基于级联的视频分析系统高出 4.8 倍，显著加速了查询处理。
• 压缩域跟踪与选择性解码引入的精度损失较小，对最终分类与定位结果影响可忽略。
• CoVA 支持时间查询（如对象出现的时间）与空间查询（如对象位于右上区域），而先前系统常忽略此类查询。
• 该系统的与查询无关的结果仅需为每段视频存储一次，即可实现对后续查询的快速响应，无需重新处理。
• 该方法与标准视频编码格式兼容，无需修改视频摄取或存储流水线。