[論文レビュー] Recent Standard Development Activities on Video Coding for Machines

Wen Gao, Shan Liu+4 more|arXiv (Cornell University)|May 26, 2021

Visual Attention and Saliency Detection参考文献 7被引用数 31

ひとこと要約

この論文は MPEG VCM の最近の活動を概観し、機械ビジョンタスク向けに最適化されたビデオコーディングのユースケース、要件、処理パイプライン、評価フレームワーク、および提案された技術ソリューションを概説します。

ABSTRACT

In recent years, video data has dominated internet traffic and becomes one of the major data formats. With the emerging 5G and internet of things (IoT) technologies, more and more videos are generated by edge devices, sent across networks, and consumed by machines. The volume of video consumed by machine is exceeding the volume of video consumed by humans. Machine vision tasks include object detection, segmentation, tracking, and other machine-based applications, which are quite different from those for human consumption. On the other hand, due to large volumes of video data, it is essential to compress video before transmission. Thus, efficient video coding for machines (VCM) has become an important topic in academia and industry. In July 2019, the international standardization organization, i.e., MPEG, created an Ad-Hoc group named VCM to study the requirements for potential standardization work. In this paper, we will address the recent development activities in the MPEG VCM group. Specifically, we will first provide an overview of the MPEG VCM group including use cases, requirements, processing pipelines, plan for potential VCM standards, followed by the evaluation framework including machine-vision tasks, dataset, evaluation metrics, and anchor generation. We then introduce technology solutions proposed so far and discuss the recent responses to the Call for Evidence issued by MPEG VCM group.

研究の動機と目的

• MPEG VCM グループの機械向けビデオコーディングの範囲、ユースケース、および要件を要約する。
• VCM の処理パイプラインと標準化計画を提示する。
• 機械ビジョンタスク、データセット、指標、アンカー生成を含む評価フレームワークを説明する。
• 現時点までに提案された技術ソリューションの要約と Call for Evidence への回答の説明。

提案手法

• MPEG VCM の文書および Call for Evidence の回答のレビュー。
• VCM のユースケース、要件、および処理パイプラインの説明。
• 機械ビジョンタスク、データセット、指標を含む評価フレームワークの概要。
• 提案された技術ソリューションの概要と、潜在的な標準化への整合性。
• 潜在的なVCM標準の計画とアンカー生成の議論。

実験結果

リサーチクエスチョン

• RQ1 MPEG VCM における機械向けビデオコーディングを推進するユースケースと要件は何か？
• RQ2 VCM標準化において想定される処理パイプラインは何か？
• RQ3 VCM の評価フレームワークの要素（タスク、データセット、指標、アンカー）は何が提案されているか？
• RQ4 VCM に対して提案された技術ソリューションは何か、そしてそれらは Call for Evidence にどのように応答したか？

主な発見

• VCM は機械中心の動画圧縮ニーズに対応し、ヒト中心のユースケースとは異なる。
• 機械ビジョンタスク、データセット、指標、アンカー生成を含む構造化された評価フレームワークが提案されています。
• 技術ソリューションはこれまでの Call for Evidence の回答と関連づけて議論されています。
• 潜在的な VCM 標準に向けた明確な計画と、概要された処理パイプラインがあります。