[論文レビュー] Video Coding for Machine: Compact Visual Representation Compression for Intelligent Collaborative Analytics

Wenhan Yang, Haofeng Huang+3 more|arXiv (Cornell University)|Oct 18, 2021

Visual Attention and Saliency Detection参考文献 42被引用数 14

ひとこと要約

本稿では、低ビットレートでも多様なマシンビジョン分析を可能にするコン pact なマルチタスク視覚表現圧縮を実現するため、ビデオコーディング・フォー・マシンズ（VCM）向けにコードブックハイパープライアモデルを提案する。深層特徴とセマンティックラベルの次元ギャップを低減することで、優れた特徴圧縮効率を達成し、タスク間での有効な転移学習を可能にし、従来の画像コーデック（BPGなど）を上回る性能を示す。

ABSTRACT

Video Coding for Machines (VCM) is committed to bridging to an extent separate research tracks of video/image compression and feature compression, and attempts to optimize compactness and efficiency jointly from a unified perspective of high accuracy machine vision and full fidelity human vision. In this paper, we summarize VCM methodology and philosophy based on existing academia and industrial efforts. The development of VCM follows a general rate-distortion optimization, and the categorization of key modules or techniques is established. From previous works, it is demonstrated that, although existing works attempt to reveal the nature of scalable representation in bits when dealing with machine and human vision tasks, there remains a rare study in the generality of low bit rate representation, and accordingly how to support a variety of visual analytic tasks. Therefore, we investigate a novel visual information compression for the analytics taxonomy problem to strengthen the capability of compact visual representations extracted from multiple tasks for visual analytics. A new perspective of task relationships versus compression is revisited. By keeping in mind the transferability among different machine vision tasks (e.g. high-level semantic and mid-level geometry-related), we aim to support multiple tasks jointly at low bit rates. In particular, to narrow the dimensionality gap between neural network generated features extracted from pixels and a variety of machine vision features/labels (e.g. scene class, segmentation labels), a codebook hyperprior is designed to compress the neural network-generated features. As demonstrated in our experiments, this new hyperprior model is expected to improve feature compression efficiency by estimating the signal entropy more accurately, which enables further investigation of the granularity of abstracting compact features among different tasks.

研究の動機と目的

• 複数のマシンビジョンタスクに一般化可能な低ビットレートの視覚表現圧縮の欠如に対処する。
• 深層ニューラルネットワーク特徴と高レベルのセマンティックラベル（例：シーン分類、セグメンテーション）の次元ギャップを埋め、効率的な圧縮を実現する。
• 圧縮と特徴の有用性を共同最適化することで、多様なタスク間での協調的分析を可能にする。
• コードブックに基づくハイパープライアを用いて正確なエントロピー推定を実現し、特徴圧縮効率を向上させる。
• 一部のタスクで学習した圧縮表現を用いて、未学習の下流タスクをサポートする能力を提供し、転移性を示す。

提案手法

• 複数のマシンビジョンタスクに共通する潜在表現を学習するコードブックハイパープライアモデルを設計し、次元の不一致を低減する。
• 異なるタスクの特徴を統一されたコンパクトな表現空間に統合するための（逆）変換マッピングを統合する。
• 一部のタスクからの監視信号を用いて率-歪み（R-D）トレードオフを最適化し、未学習のタスクでも推論を可能にする。
• 標準的なプライアより信号エントロピーをより正確に推定するハイパープライアメカニズムを採用し、圧縮効率を向上させる。
• シーン分類、セマンティックセグメンテーション、表面法線推定などの複数のタスクを端末から端末まで学習し、転移可能な特徴を学習する。
• 外部およびソース＋設定を用いて、未学習のタスクでの性能を評価し、一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 低ビットレートでも複数のマシンビジョンタスクをサポートするコンパクトな視覚表現を、どのように効率的に圧縮できるか？
• RQ2 1つの圧縮表現が、多様で関係のない複数のマシンビジョンタスクにどの程度一般化可能か？
• RQ3 コードブックベースのハイパープライアは、マルチタスクの深層特徴を圧縮する際に、標準的なプライアを上回る性能を示せるか？
• RQ4 エンコーダー側で未学習タスクの特徴を含めても、直接的な監視がない場合、そのタスクの性能にどのような影響を与えるか？
• RQ5 圧縮効率と外部分析タスクのサポート能力の間には、どのようなトレードオフがあるか？

主な発見

• 提案されたコードブックハイパープライアモデルは、ベースライン手法よりも優れた圧縮効率を達成し、ビットストリームサイズを削減しながら特徴の有用性を維持する。
• 本手法は有効な転移学習を可能にする：2つのタスク（例：シーン分類、セグメンテーション）で学習した圧縮表現は、未学習のタスク（例：オブジェクト分類）を高精度でサポートできる。
• 「Source+」設定では、エンコーダー側に未学習タスクの特徴を含めるが、学習時に監視しないが、それにより「External」と「Internal」設定よりも性能が向上する。
• 最先端のタスクに依存しない画像コーデック（BPG）と比較して、同じ検証セットにおいて、オブジェクト分類の精度が53.50%（BPG：54.56%）でやや上回り、リシェーディングのビットレートも0.205（BPG：0.222）と低くなる。
• モデルは強い一般化性能を示す：直接的な監視がなくても、一部のタスクで学習した圧縮特徴は、外部の分析タスクを競争力のある性能でサポートできる。