[論文レビュー] Scaling Video Analytics on Constrained Edge Nodes

Christopher Canel, Thomas Kim+6 more|arXiv (Cornell University)|May 24, 2019

Video Surveillance and Tracking Methods参考文献 26被引用数 26

ひとこと要約

FilterForward は、制約のあるエッジノード上で軽量で共有可能な深層ニューラルネットワークとアプリケーション固有のマイクロクラス分類器を用いて、ビデオ分析の帯域幅を 10x 減少させるエッジ・クラウドシステムである。このシステムにより、アプリケーション固有のイベント検出に基づいて関連するフレームのみをフィルタリングすることで、数千のカメラ配信を高精度かつリアルタイムで処理できる。従来手法と比較して 6.1x の高いスループットと 1.3x の高い精度を達成した。

ABSTRACT

As video camera deployments continue to grow, the need to process large volumes of real-time data strains wide area network infrastructure. When per-camera bandwidth is limited, it is infeasible for applications such as traffic monitoring and pedestrian tracking to offload high-quality video streams to a datacenter. This paper presents FilterForward, a new edge-to-cloud system that enables datacenter-based applications to process content from thousands of cameras by installing lightweight edge filters that backhaul only relevant video frames. FilterForward introduces fast and expressive per-application microclassifiers that share computation to simultaneously detect dozens of events on computationally constrained edge nodes. Only matching events are transmitted to the cloud. Evaluation on two real-world camera feed datasets shows that FilterForward reduces bandwidth use by an order of magnitude while improving computational efficiency and event detection accuracy for challenging video content.

研究の動機と目的

• 制約のあるエッジノードからの大規模かつリアルタイムのビデオ分析における帯域幅ボトルネックを解決すること。
• 限られたネットワーク帯域幅の中でも、データセンターアプリケーションが数千台のカメラからの高品質な動画を処理できるようにすること。
• 低消費電力のエッジハードウェア上で、数十の並列で動作するアプリケーション固有のイベント検出フィルタを効率的にサポートするシステムを設計すること。
• 既存のエッジフィルタリング手法と比較して、計算効率と検出精度を向上させること。
• 複数のマイクロクラス分類器間で特徴抽出を共有することで、スケーラブルでマルチテナント対応のビデオ分析を可能にすること。

提案手法

• FilterForward は、各動画フレームから一般特徴を抽出する共有ベースの深層ニューラルネットワーク（DNN）を用い、複数のマイクロクラス分類器にわたる高コストな計算を均等に分散する。
• 各アプリケーションは、DNNの活性化値に対して二値分類を実行する軽量なマイクロクラス分類器（MC）をデプロイし、特定のイベント（例：犬の存在）を検出する。
• フレームレベルの分類結果は平滑化され、イベントの開始時刻と終了時刻が特定され、再エンコードされてクラウドに転送される。
• マイクロクラス分類器は、ベースDNNの異なる層からの特徴を活用でき、冗長性を最小限に抑えつつ表現力のあるアプリケーション固有の検出を可能にする。
• 1つのエッジノード上で数十のMCを並列で実行することでマルチテナントをサポートし、共有された特徴計算を活用する。
• 検出されたイベントを含むフレームのみが送信されるため、帯域幅の使用量が著しく削減されつつ、動画品質は維持される。

実験結果

リサーチクエスチョン

• RQ1 共有された特徴抽出パイプラインは、制約のあるエッジノード上で複数のビデオ分析フィルタを実行する際の計算コストを顕著に低減できるか？
• RQ2 大規模なビデオ展開において、検出精度を損なわず、エッジベースのフィルタリングが帯域幅使用量をどの程度削減できるか？
• RQ3 共有DNN特徴に基づいて学習されたマイクロクラス分類器の精度と効率は、ピクセルベースの分類器と比較してどの程度優れているか？
• RQ4 並列で動作するマイクロクラス分類器の数とスループットの観点から、マルチテナントエッジフィルタリングシステムのスケーラビリティの限界はどこか？
• RQ5 極めて厳しい帯域制約下でも、提案アーキテクチャは、実世界の困難な動画コンテンツにおいて高い検出精度を維持できるか？

主な発見

• FilterForward は、実世界のデータセットにおいて、標準的な動画圧縮技術と比較して帯域幅使用量を10倍（10x）削減した。
• 50個の並列マイクロクラス分類器を用いた場合、FilterForward は既存の軽量フィルタリング手法と比較して 6.1× の高いスループットを達成した。
• FilterForward のマイクロクラス分類器は、先行研究で用いられたピクセルベースのDNNフィルターよりも最大で 1.3× 高い精度を示した。
• 共有された特徴計算のおかげで、1つの新しいマイクロクラス分類器を追加する際の限界コストは、従来のシステムと比較して最大で 23× 低くなった。
• 3〜4個以上のマイクロクラス分類器がアクティブな状態になると、FilterForward は既存のエッジフィルタリングシステムを計算効率面で上回った。
• 関連するイベントのためのフル解像度の動画を保持することで、極めて厳しい帯域制約下でも、困難な動画コンテンツにおいて高い検出精度を維持できた。