[論文レビュー] Video Coding for Machines: A Paradigm of Collaborative Compression and Intelligent Analytics

Ling‐Yu Duan, Jiaying Liu+3 more|arXiv (Cornell University)|Jan 10, 2020

Advanced Vision and Imaging参考文献 144被引用数 7

ひとこと要約

本稿では、機械視覚と人間視覚の両方を最適化する共同圧縮パラダイムとして、ビデオコーディング・フォー・マシンズ（VCM）を提案する。予測および生成的ディープラーニングモデルを統合することで、HEVCと比較してより低いビットレートでも優れたビデオ再構成品質を達成し、ビッグデータ応用における知能型ビデオ分析の効率的向上を実証する。

ABSTRACT

Video coding, which targets to compress and reconstruct the whole frame, and feature compression, which only preserves and transmits the most critical information, stand at two ends of the scale. That is, one is with compactness and efficiency to serve for machine vision, and the other is with full fidelity, bowing to human perception. The recent endeavors in imminent trends of video compression, e.g. deep learning based coding tools and end-to-end image/video coding, and MPEG-7 compact feature descriptor standards, i.e. Compact Descriptors for Visual Search and Compact Descriptors for Video Analysis, promote the sustainable and fast development in their own directions, respectively. In this paper, thanks to booming AI technology, e.g. prediction and generation models, we carry out exploration in the new area, Video Coding for Machines (VCM), arising from the emerging MPEG standardization efforts1. Towards collaborative compression and intelligent analytics, VCM attempts to bridge the gap between feature coding for machine vision and video coding for human vision. Aligning with the rising Analyze then Compress instance Digital Retina, the definition, formulation, and paradigm of VCM are given first. Meanwhile, we systematically review state-of-the-art techniques in video compression and feature compression from the unique perspective of MPEG standardization, which provides the academic and industrial evidence to realize the collaborative compression of video and feature streams in a broad range of AI applications. Finally, we come up with potential VCM solutions, and the preliminary results have demonstrated the performance and efficiency gains. Further direction is discussed as well.

研究の動機と目的

• ビッグデータビデオ分析における従来の「圧縮後に分析」パイプラインの非効率性に対処し、ビデオと特徴の圧縮を統合する。
• 人間中心のビデオコーディングと機械中心の特徴圧縮の間のギャップを、共同最適化によって埋める。
• AI駆動のビデオ応用のための将来のMPEG標準化作業と整合する新たなパラダイム「ビデオコーディング・フォー・マシンズ（VCM）」を提唱する。
• ディープラーニングに基づく予測および生成モデルを用いて、スケーラブルかつエンド・トゥ・エンドの最適化を実現する。
• VCMにおける複数のビジョンタスクにわたるエントロピーの上限とフィードバックメカニズムの理論的および実用的基盤を提供する。

提案手法

• 階層的ディープニューラルネットワークを用いて、ビデオフレームと機械抽出可能な特徴を統合的に圧縮するVCMのフレームワークを定式化する。
• 予測および生成モデルを活用して、人間視覚の再構成忠実度を保持しつつ、コンパクトで特徴的な特徴を抽出する。
• インターポーラビリティを実現する低ビットレート伝送を可能とするために、コンパクトな特徴記述子（例：CDVA、CDVS）をビデオコーディングパイプラインに統合する。
• 一定のレート要因を用いたレート・ディストーション最適化を実施し、HEVCとの性能比較を評価する。SSIMおよび視覚的品質を指標とする。
• 機械視覚における異なる抽象レベルの複数タスク最適化を支援するスケーラブルなフィードバックメカニズムを設計する。
• エンド・トゥ・エンド学習を適用し、ビデオ圧縮と特徴抽出を同時に最適化することで、ストリーム間の冗長性を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、機械視覚応用における性能と効率を向上させるために、ビデオと特徴の圧縮を共同で最適化できるか？
• RQ2 複数タスクのビデオ分析において、エントロピーの上限とタスク固有のパフォーマンスの理論的関係は何か？
• RQ3 ディープラーニングベースの予測および生成モデルは、多様なビデオドメインにわたるVCMにおけるドメインシフト問題を軽減できるか？
• RQ4 VCMフレームワークは、従来のHEVCと比較して、レート・ディストーション性能および視覚的品質でどのように異なるか？
• RQ5 スパイクカメラなどの生物にインspiredなデータ取得メカニズムは、リアルタイムで低遅延な分析を進めるVCMにおいて果たす役割は何か？

主な発見

• 提案されたVCM手法は、HEVCと比較してより低いビットレートでも、SSIM値が優れた性能を示す、より優れたビデオ再構成品質を達成した。
• 主観的評価では、VCMの結果はHEVCと比較して著しく圧縮アーティファクトが少なく、より視覚的に快適な再構成が得られた。
• レート・ディストーション曲線は、VCMが全テストビットレート範囲でHEVCを上回ることを示し、低ビットレートでも高い品質を維持した。
• 予備の結果は、ビデオと特徴ストリームの共同圧縮が、AIワークロードにおける効率的な伝送と高精度な分析を可能にすることを確認した。
• コンパクトな記述子（CDVA、CDVS）をコーディングパイプラインに統合することで、大規模なビデオ分析に適した相互運用性があり低帯域幅の伝送が可能になった。
• 本フレームワークは、複数のビジョンタスクにわたるスケーラビリティとフィードバックベースの最適化の強力な可能性を示し、今後の理論的および実用的進展への道を切り開いた。