[論文レビュー] DeepStream: Bandwidth Efficient Multi-Camera Video Streaming for Deep Learning Analytics

Hongpeng Guo, Beitong Tian+6 more|arXiv (Cornell University)|Jun 27, 2023

Image and Video Quality Assessment被引用数 4

ひとこと要約

DeepStreamは、リソース制約のあるデバイス上でリアルタイムの領域の注目（ROIDet）を実行し、コンテンツに応じた帯域幅割り当てフレームワークを用いることで、帯域幅効率の高いマルチカメラ動画ストリーミングシステムである。帯域幅を最大54％削減しつつ、精度の低下は1％未満に抑えられ、制限された帯域幅下でもベースラインと比較して検出の有用性を23％向上する。

ABSTRACT

Deep learning video analytic systems process live video feeds from multiple cameras with computer vision models deployed on edge or cloud. To optimize utility for these systems, which usually corresponds to query accuracy, efficient bandwidth management for the cameras competing for the fluctuating network resources is crucial. We propose DeepStream, a bandwidth efficient multi-camera video streaming system for deep learning video analytics. DeepStream addresses the challenge of limited and fluctuating bandwidth resources by offering several tailored solutions. We design a novel Regions of Interest detection (ROIDet) algorithm which can run in real time on resource constraint devices, such as Raspberry Pis, to remove spatial redundancy in video frames and reduce the amount of data to be transmitted. We also propose a content-aware bandwidth optimization framework and an Elastic Transmission Mechanism that exploits correlations among video contents. We implement DeepStream on Raspberry Pis and a desktop computer. Evaluations on real-world datasets show that DeepStream's ROIDet algorithm saves up to 54\% bandwidth with less than 1\% accuracy drop. Additionally,DeepStream improves utility by up to 23\% compared to baselines under the same bandwidth conditions.

研究の動機と目的

• マルチカメラの深層学習動画分析システムにおける制限的で変動する帯域幅の課題に対処すること。
• エッジデバイスにサーバーからのフィードバックや高負荷なモデルに依存せずに、動画フレーム内の空間的冗長性を低減すること。
• カメラ間のコンテンツ相関を活用することで、制限された帯域幅下での検出の有用性（オブジェクト検出精度として定義）を最適化すること。
• 動画コンテンツとリアルタイムのネットワーク状態に基づいて帯域幅を動的に割り当てるシステムを設計すること。
• 低消費電力デバイス（例：Raspberry Pi）上で効率的かつリアルタイムに処理を実行しながら、高い分析精度を維持すること。

提案手法

• Raspberry Piなどのリソース制約のあるデバイス上で実行可能で、サーバーからのフィードバックを必要としない軽量でリアルタイムの領域の注目（ROIDet）検出アルゴリズムを提案する。
• 検出の有用性を動画コンテンツとネットワーク状態の関数としてモデル化する、コンテンツに応じた動的プログラミングベースの帯域幅割り当てアルゴリズムを導入する。
• 複数の動画ストリーム間の空間的・時間的相関を活用して、帯域幅を適応的に割り当てるエラスティックトランスミッションメカニズムを設計する。
• 最適化のため、動画コンテンツの特徴と検出の有用性の関係を事前プロファイリングすることで確立する。
• カメラ側の処理（ROIDet、圧縮、特徴抽出）とサーバー側の分析および帯域幅意思決定を統合する。
• エンド・ツー・エンドのテストにおいて帯域幅と精度のトレードオフを評価するため、CRFベースの動画圧縮（例：CRF=18）を用いる。

実験結果

リサーチクエスチョン

• RQ1 サーバーからのフィードバックに依存せずに、低消費電力のエッジデバイス上でマルチカメラ動画ストリームの空間的冗長性をどのように効果的に低減できるか？
• RQ2 変動するネットワーク状態下で、コンテンツに応じた帯域幅割り当ては、マルチカメラ動画分析における検出の有用性をどの程度向上できるか？
• RQ3 軽量でリアルタイムのROIDetアルゴリズムは、検出精度にほとんど影響を与えることなく、顕著な帯域幅の削減を達成できるか？
• RQ4 複数の動画ストリーム間の空間的・時間的相関は、エラスティック帯域幅割り当ての有効性にどのように影響するか？
• RQ5 実世界の展開において、ROIDetと動的帯域幅割り当てを統合した際のエンド・ツー・エンドの遅延とパフォーマンスのトレードオフは何か？

主な発見

• ROIDetは、フルフレーム送信と比較して、最大54％の動画帯域幅削減を実現しつつ、オブジェクト検出精度の低下が1％未満に抑えられる。
• 同一の帯域幅条件下で、コンテンツに応じた最適化を行わないベースラインシステムと比較して、DeepStreamは検出の有用性を最大23％向上する。
• Raspberry Piデバイス上でリアルタイムのパフォーマンスを達成しており、カメラ側処理（ROIDetおよび圧縮を含む）が1秒のタイムスロット内に完了する。
• エンド・ツー・エンドの遅延は、主にカメラ側の処理と送信に起因し、サーバー側の処理時間はわずかな寄与にとどまる。
• CRFベースの圧縮では、ROIDetで切り取った動画がオリジナルフレームと比較して約50％のファイルサイズにまで小さくなる一方、検出精度はほぼ同一を維持する。
• 帯域幅割り当てフレームワークは、カメラ間の空間的・時間的相関を効果的に活用し、リソース制限下でも検出パフォーマンスの向上を実現する。