[論文レビュー] A Coding Framework and Benchmark towards Low-Bitrate Video Understanding

Yuan Tian, Lu Guo+4 more|arXiv (Cornell University)|Feb 6, 2022

Advanced Image Processing Techniques被引用数 4

ひとこと要約

本論文は、標準的な圧縮動画に加えて学習可能な分析ビットストリームを送信することで、下流の動画理解タスクの性能を向上させる、理解指向の動画符号化（UVC）フレームワークを提案する。エッジマップにおける自己教師付き対照的学習と、適応的で動的なネットワークアーキテクチャを用いることで、7つのデータセットと4つの圧縮レベルにおいて、アクション認識、検出、トラッキングの性能が顕著に向上し、H.264 や H.265 などの産業用コーデックを上回る。ビットコストの増加は最小限に抑えられる。

ABSTRACT

Video compression is indispensable to most video analysis systems. Despite saving transportation bandwidth, it also deteriorates downstream video understanding tasks, especially at low-bitrate settings. To systematically investigate this problem, we first thoroughly review the previous methods, revealing that three principles, i.e., task-decoupled, label-free, and data-emerged semantic prior, are critical to a machine-friendly coding framework but are not fully satisfied so far. In this paper, we propose a traditional-neural mixed coding framework that simultaneously fulfills all these principles, by taking advantage of both traditional codecs and neural networks (NNs). On one hand, the traditional codecs can efficiently encode the pixel signal of videos but may distort the semantic information. On the other hand, highly non-linear NNs are proficient in condensing video semantics into a compact representation. The framework is optimized by ensuring that a transportation-efficient semantic representation of the video is preserved w.r.t. the coding procedure, which is spontaneously learned from unlabeled data in a self-supervised manner. The videos collaboratively decoded from two streams (codec and NN) are of rich semantics, as well as visually photo-realistic, empirically boosting several mainstream downstream video analysis task performances without any post-adaptation procedure. Furthermore, by introducing the attention mechanism and adaptive modeling scheme, the video semantic modeling ability of our approach is further enhanced. Finally, we build a low-bitrate video understanding benchmark with three downstream tasks on eight datasets, demonstrating the notable superiority of our approach. All codes, data, and models will be available at \url{https://github.com/tianyuan168326/VCS-Pytorch}.

研究の動機と目的

• 標準的な動画圧縮によって生じる、意味論的に重要な情報の損失による動画理解性能の低下を是正すること。
• 圧縮効率を損なわずに、下流タスクに不可欠な情報を保持する動画符号化フレームワークを設計すること。
• 複数の動画理解タスクに一度の学習で展開可能なフレームワークを実現すること。
• 多様なデータセットと圧縮レベルをカバーする、圧縮済み動画理解の包括的ベンチマークを構築すること。

提案手法

• 標準的な産業用動画ビットストリームと、下流タスクの性能向上を目的とした学習可能な分析ビットストリームを併用する二重ストリームアーキテクチャを導入する。
• 下流モデルやラベル付きデータにアクセスできない状況でも最適化可能な、タスクに依存しない代替目的関数として、ニューラルエッジマップにおける自己教師付き対照的学習を採用する。
• 冗長性とビットコストを低減するため、動的畳み込みカーネルと差分マップパスウェイを備えた適応的エンコーダー・ネットワーク（Enc-Net）を設計する。
• 動画ストリームで十分に捉えられている特徴をスキップするためのアテンション機構を用い、圧縮効率を向上させる。
• デコーダーで分析ストリームを効率的に再構築するため、適応的カーネルインデキシングを備えた受信者ネットワーク（R-Net）を採用する。
• Transformer やハイパープライオリティモデルなどの先進的モジュールを柔軟に統合可能であり、再訓練なしにH.265にアップグレード可能である。

実験結果

リサーチクエスチョン

• RQ1 学習可能な分析ビットストリームは、圧縮動画における意味論的キーデータを効果的に保持するために有効に利用できるか？
• RQ2 下流モデルやラベル付きデータが入手不可な状況でも、分析ストリームをどのように最適化できるか？
• RQ3 適応的で動的なネットワークアーキテクチャは、性能を維持しつつ、分析ストリームのビットコストをどの程度削減できるか？
• RQ4 UVCフレームワークは、多様な動画理解タスクとデータセット、さまざまな圧縮レベルにおいて、どの程度一般化性能を示すか？

主な発見

• H.265を動画コーデックとして使用した場合、H.264ベースラインに比べ、Top-1精度が14.47%、Top-5精度が8.72%の絶対的向上を達成し、顕著な性能向上を示した。
• アブレーションスタディの結果、差分マップパスウェイを削除すると、分析ストリームのビットコストが約35%上昇し、冗長性低減におけるその役割が裏付けられた。
• 適応的畳み込みを固定または通常の畳み込みに置き換えると、性能が著しく低下し、Enc-Netにおける入力に応じたカーネル学習の価値が実証された。
• Enc-Netのエッジ側計算コストは、Balleら [95] よりも20倍低いため、リソース制限のあるデバイスへの展開に適している。
• 0ビットモデルバージョンは、エッジ側に追加の計算コストを一切負担せずに優れた性能を達成しており、フレームワークの効率性を証明している。
• UVCは、アクション認識、アクション検出、複数オブジェクトトラッキングの全タスクにおいて、7つの大規模データセットと4つの圧縮レベルで、産業用コーデックを常に上回った。