[論文レビュー] CoVA: Exploiting Compressed-Domain Analysis to Accelerate Video Analytics

Jinwoo Hwang, Minsu Kim+6 more|arXiv (Cornell University)|Jul 2, 2022

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

CoVAは、圧縮ドメインでオブジェクト追跡とフレーム選択を実行することで、動画分析の高速化を実現する新規な段階的アーキテクチャを提案する。これにより、デコードのオーバーヘッドを低減しつつ、時間的および空間的クエリをサポートする。圧縮メタデータを活用してボブ検出と選択的デコードを実行することで、最新のシステムと比較して4.8倍のスループット向上を達成し、わずかな精度の損失で実現する。

ABSTRACT

Modern retrospective analytics systems leverage cascade architecture to mitigate bottleneck for computing deep neural networks (DNNs). However, the existing cascades suffer two limitations: (1) decoding bottleneck is either neglected or circumvented, paying significant compute and storage cost for pre-processing; and (2) the systems are specialized for temporal queries and lack spatial query support. This paper presents CoVA, a novel cascade architecture that splits the cascade computation between compressed domain and pixel domain to address the decoding bottleneck, supporting both temporal and spatial queries. CoVA cascades analysis into three major stages where the first two stages are performed in compressed domain while the last one in pixel domain. First, CoVA detects occurrences of moving objects (called blobs) over a set of compressed frames (called tracks). Then, using the track results, CoVA prudently selects a minimal set of frames to obtain the label information and only decode them to compute the full DNNs, alleviating the decoding bottleneck. Lastly, CoVA associates tracks with labels to produce the final analysis results on which users can process both temporal and spatial queries. Our experiments demonstrate that CoVA offers 4.8x throughput improvement over modern cascade systems, while imposing modest accuracy loss.

研究の動機と目的

• DNN推論の前に完全な動画の復元処理を要する動画分析システムにおけるデコードボトルネックを解消すること。
• 既存の段階的システムがしばしば除外する、レトロスペクティブな動画分析における時間的および空間的クエリをサポートすること。
• 事前処理やトランスコードなしに、早期処理段階を圧縮ドメインにオフロードすることで、効率的でクエリに依存しない分析を可能にすること。
• 最小限のフレームセットのみを完全なDNN推論に選択することで、計算コストとストレージコストを最小限に抑えること。
• 知的なラベル伝搬を用いて、デコードフレーム数を著しく削減しながらも高い精度を維持すること。

提案手法

• CoVAは動画分析を3段階に分割する：圧縮ドメインでのボブトラッキング、最小限のフレーム選択、およびラベル伝搬を伴うピクセルドメインでのDNN推論。
• エンコードメタデータ（例：動きベクトル、量子化パラメータ）を活用し、再調整されたニューラルネットワークを用いて圧縮ドメインでのボブトラッキングを実行する。
• フレーム選択は空間的・時間的整合性に基づき、最小限のデコードコストで最大のカバレッジを実現する代表的フレームを選択する。
• 選択されたフレームからのラベルは、圧縮ドメイン分析から得られる動きおよび空間的一致性を用いて、全トラックに伝搬される。
• システムはH.264/265など標準の動画コーデック上で動作し、事前処理、トランスコード、カスタムストレージフォーマットの必要がない。
• 最終的な分析結果は1動画あたり1回のみ保存され、その後のすべてのクエリに再利用可能であり、迅速な応答を可能にする。

実験結果

リサーチクエスチョン

• RQ1 事前処理やトランスコードなしに、圧縮ドメインでの分析がデコードボトルネックを軽減できるか？
• RQ2 段階的アーキテクチャが、高いスループットを維持しながら時間的および空間的クエリを両方サポートできるか？
• RQ3 エンコードメタデータのみを用いた圧縮ドメインでのボブトラッキングが、オブジェクト検出にどの程度有効か？
• RQ4 クエリに依存しない動画分析パイプラインにおいて、デコードコストの削減と精度損失のトレードオフはどの程度か？
• RQ5 代表的フレームの選択的デコードが、計算負荷を最小限に抑えながらも精度を保持できるか？

主な発見

• CoVAは、パイプラインの大部分を圧縮ドメインで処理することで、最新のシステムと比較してデコードワークロードを83.6%削減した。
• システムは、既存の段階的動画分析システムと比較して4.8倍の高いスループットを達成し、クエリ処理の高速化を顕著に実現した。
• 圧縮ドメインでのトラッキングと選択的デコードによって生じる精度損失はわずかであり、最終的な分類および局所化結果への影響は最小限に抑えられた。
• CoVAは、オブジェクトがいつ出現したか（例：時間的クエリ）や、上部右領域にオブジェクトがいるか（例：空間的クエリ）といったクエリを両方サポートしており、従来のシステムがしばしば除外する。
• システムのクエリに依存しない結果は1動画あたり1回のみ保存され、再処理なしに将来的なクエリに迅速に対応可能である。
• このアプローチは標準の動画コーデックと互換性があり、動画インジェストやストレージパイプラインの変更を必要としない。