[论文解读] AQuA: Analytical Quality Assessment for Optimizing Video Analytics Systems

Sibendu Paul, Utsav Drolia+2 more|arXiv (Cornell University)|Jan 24, 2021

Image Enhancement Techniques参考文献 63被引用 4

一句话总结

AQuA 引入了一种分析性质量评估框架，通过在边缘端早期过滤低质量帧来评分视频帧的失真，从而保护深度学习分析的准确性。利用轻量级的基于CNN的特征提取器和一种新颖的“分类器意见得分”度量，AQuA 将高置信度错误减少了17%，并将计算和带宽使用量减少了25%，仅增加14ms的开销。

ABSTRACT

Millions of cameras at edge are being deployed to power a variety of different deep learning applications. However, the frames captured by these cameras are not always pristine - they can be distorted due to lighting issues, sensor noise, compression etc. Such distortions not only deteriorate visual quality, they impact the accuracy of deep learning applications that process such video streams. In this work, we introduce AQuA, to protect application accuracy against such distorted frames by scoring the level of distortion in the frames. It takes into account the analytical quality of frames, not the visual quality, by learning a novel metric, classifier opinion score, and uses a lightweight, CNN-based, object-independent feature extractor. AQuA accurately scores distortion levels of frames and generalizes to multiple different deep learning applications. When used for filtering poor quality frames at edge, it reduces high-confidence errors for analytics applications by 17%. Through filtering, and due to its low overhead (14ms), AQuA can also reduce computation time and average bandwidth usage by 25%.

研究动机与目标

• 为解决由摄像机硬件和传输导致的自然失真所引发的视频分析错误日益严重的问题。
• 减少因输入帧质量低下而导致的深度学习模型的高置信度误分类。
• 最小化基于边缘的视频分析流水线中的冗余计算和带宽使用。
• 实现在下游分析模型接收之前，对低质量帧的早期检测与过滤。
• 在无需重新训练模型的情况下，泛化应用于多种视频分析应用。

提出的方法

• AQuA 使用截断的Inception-v3网络作为轻量级、与对象无关的特征提取器，用于分析帧级别的失真。
• 它引入了一种新颖的“分类器意见得分”度量，反映模型在失真输入上的置信度，替代人工感知质量评估。
• 该框架训练一个回归模型，基于特征和分类器意见得分来预测失真水平。
• AQuA 部署在边缘端，在分析模型处理之前过滤帧，从而减少下游资源消耗。
• 通过聚焦于失真影响而非特定对象的特征，该系统可在多种深度学习应用中实现泛化。
• 系统设计为低延迟（14ms）且在实时视频分析工作负载中具备高可扩展性。

实验结果

研究问题

• RQ1 帧级别的质量评估系统能否通过早期过滤失真帧，减少由自然失真引起的视频分析应用中的高置信度错误？
• RQ2 轻量级的基于CNN的模型在不依赖人工意见得分的情况下，预测失真水平的效率如何？
• RQ3 AQuA 在无需重新训练的情况下，能在多大程度上泛化应用于多样化的视频分析应用？
• RQ4 早期帧过滤对边缘视频流水线中计算和带宽使用的影响如何？
• RQ5 AQuA 能否检测并预测导致质量下降的相机配置错误？

主要发现

• 通过早期过滤失真帧，AQuA 在视频分析应用中将高置信度错误减少了17%。
• 通过消除低质量帧的处理，系统将平均计算时间和带宽使用量减少了25%。
• AQuA 实现了14ms的推理延迟，使其适用于实时边缘部署。
• 分类器意见得分度量与应用置信度的相关性强于传统IQA度量。
• AQuA 在无需微调或重新训练模型的情况下，可在多种视频分析应用中实现泛化。
• 该框架在预测应用级准确度下降方面优于最先进的IQA方法。