[论文解读] DeepStream: Bandwidth Efficient Multi-Camera Video Streaming for Deep Learning Analytics

Hongpeng Guo, Beitong Tian+6 more|arXiv (Cornell University)|Jun 27, 2023

Image and Video Quality Assessment被引用 4

一句话总结

DeepStream 是一种带宽高效的多摄像头视频流系统，通过在资源受限设备上实时进行感兴趣区域检测（ROIDet）以及内容感知的带宽分配框架，减少传输开销。在带宽受限条件下，其带宽节省最高达54%，精度下降不足1%，与基线相比检测效用提升23%。

ABSTRACT

Deep learning video analytic systems process live video feeds from multiple cameras with computer vision models deployed on edge or cloud. To optimize utility for these systems, which usually corresponds to query accuracy, efficient bandwidth management for the cameras competing for the fluctuating network resources is crucial. We propose DeepStream, a bandwidth efficient multi-camera video streaming system for deep learning video analytics. DeepStream addresses the challenge of limited and fluctuating bandwidth resources by offering several tailored solutions. We design a novel Regions of Interest detection (ROIDet) algorithm which can run in real time on resource constraint devices, such as Raspberry Pis, to remove spatial redundancy in video frames and reduce the amount of data to be transmitted. We also propose a content-aware bandwidth optimization framework and an Elastic Transmission Mechanism that exploits correlations among video contents. We implement DeepStream on Raspberry Pis and a desktop computer. Evaluations on real-world datasets show that DeepStream's ROIDet algorithm saves up to 54\% bandwidth with less than 1\% accuracy drop. Additionally,DeepStream improves utility by up to 23\% compared to baselines under the same bandwidth conditions.

研究动机与目标

• 解决多摄像头深度学习视频分析系统中带宽有限且波动的问题。
• 在不依赖服务器反馈或边缘设备上的重型模型的前提下，减少视频帧中的空间冗余。
• 通过利用摄像头之间的内容相关性，在带宽受限条件下优化检测效用（定义为目标检测精度）。
• 设计一种根据视频内容和实时网络状况动态分配带宽的系统。
• 实现在低功耗设备（如树莓派）上的高效、实时处理，同时保持高分析精度。

提出的方法

• 提出 ROIDet，一种轻量级、实时的感兴趣区域检测算法，可在资源受限设备（如树莓派）上运行，无需依赖服务器反馈。
• 引入基于动态规划的内容感知带宽分配算法，将检测效 utility 建模为视频内容和网络状况的函数。
• 设计弹性传输机制，利用视频流之间的空间和时间相关性，自适应地分配带宽。
• 通过离线性能分析，建立视频内容特征与检测效用之间关系，用于优化。
• 集成摄像头端处理（ROIDet、压缩、特征提取）与服务器端分析及带宽决策机制。
• 采用 CRF 基视频压缩（如 CRF=18）以在端到端测试中评估带宽与精度的权衡。

实验结果

研究问题

• RQ1 在不依赖服务器反馈的前提下，如何在低功耗边缘设备上有效减少多摄像头视频流中的空间冗余？
• RQ2 在带宽波动的网络条件下，内容感知带宽分配在多摄像头视频分析中能多大程度提升检测效用？
• RQ3 轻量级、实时的 ROIDet 算法是否能实现显著的带宽节省，同时对检测精度影响极小？
• RQ4 摄像头之间视频流的空间与时间相关性如何影响弹性带宽分配的有效性？
• RQ5 在真实部署中，集成 ROIDet 与动态带宽分配的端到端延迟与性能权衡如何？

主要发现

• 与完整帧传输相比，ROIDet 可将视频带宽减少高达54%，同时检测精度下降不足1%。
• 在相同带宽条件下，与未使用内容感知优化的基线系统相比，DeepStream 的检测效用最高提升23%。
• 系统在树莓派设备上实现实时性能，摄像头端处理（包括 ROIDet 和压缩）可在1秒内完成。
• 端到端延迟主要由摄像头端处理和传输时间决定，服务器端处理时间贡献较小。
• CRF 压缩结果显示，ROIDet 裁剪后的视频文件大小约为原始帧的50%，同时保持近乎相同的检测精度。
• 带宽分配框架有效利用了摄像头之间的空间与时间相关性，在资源受限条件下提升了检测性能。