[論文レビュー] VCT: A Video Compression Transformer

Fabian Mentzer, George Toderici+5 more|arXiv (Cornell University)|Jun 15, 2022

Advanced Vision and Imaging被引用数 39

ひとこと要約

この論文は、動作予測とワーピングを Transformer ベースの時系列エントロピーモデルに置換し、フレームを表現にエンコードしその分布を予測してエントロピー符号化を行うことで動画を圧縮し、標準データセット上でアーキテクチャ的バイアスなしに最先端のレート-歪みを達成します。

ABSTRACT

We show how transformers can be used to vastly simplify neural video compression. Previous methods have been relying on an increasing number of architectural biases and priors, including motion prediction and warping operations, resulting in complex models. Instead, we independently map input frames to representations and use a transformer to model their dependencies, letting it predict the distribution of future representations given the past. The resulting video compression transformer outperforms previous methods on standard video compression data sets. Experiments on synthetic data show that our model learns to handle complex motion patterns such as panning, blurring and fading purely from data. Our approach is easy to implement, and we release code to facilitate future research.

研究の動機と目的

• ニューラル動画圧縮における手作りのアーキテクチャ的バイアスを排除する動機付け。
• フレーム表現の分布を予測するための Transformer ベースの時系列エントロピーモデルを提案する。
• 独立したフレームエンコードと Transformer ベースのコンテキストを組み合わせることで、標準データセット上で従来の動作ベース手法を上回ることを示す。
• 合成データ実験を通じて多様な時系列パターンに対する頑健性を示す。

提案手法

• 画像エンコーダ E とデコーダ D を用いて x_i を量子化表現 y_i に独立にフレームごとにエンコードする。
• y_i のロスレスエントロピー符号化のために、y_{i-2}, y_{i-1} を条件とした P(y_i | y_{i-2}, y_{i-1}) を予測する Transformer ベースのモデルを用いる。
• y_i をブロックに分割してトークンを得、それぞれ別個の Transformer を走らせて時系列と空間の文脈をモデル化する。
• 三段階で訓練する（ステージ I: E,D の RD 訓練; ステージ II: Transformer ベースの PMF 予測器の訓練; ステージ III: RD 損失と歪みを用いた結合ファインチューニング）。
• 時間的誤差を伝播させずに再構成を拡張するために潜在残差予測器 (LRP) の適用を任意とする。

実験結果

リサーチクエスチョン

• RQ1 Transformer ベースの時系列エントロピーモデルは、ニューラル動画圧縮における動作予測とワーピングを置換できるか？
• RQ2 2フレーム前の文脈とブロックごとの自己回帰トークンは、フレーム表現の効果的なエントロピー符号化をどこまで支えられるか？
• RQ3 文脈長と潜在残差予測がレート-歪み性能に与える影響は何か？
• RQ4 従来の事前分布で明示的に符号化されていない合成的な時系列パターン（パン、ブラー、フェード）に対して、Transformer ベースのモデルは一般化するか？

主な発見

• VCT は標準データセットにおいて PSNR と MS-SSIM で、動き/ワーピングの事前情報なしに従来のニューラル動画圧縮手法を上回る。
• 過去2フレームを使用すると、時系列文脈なしと比べてビットレートを大幅に削減し、潜在残差予測によってさらに利得がある。
• この手法は、合成データの多様な時系列パターン（シフト、ブラー、フェード）を、動作事前知識に依存するベースラインよりも良く扱う。
• レイテンシ/実行時間分析は、TPU ベースの推論でさまざまな解像度において競争力のあるデコード速度を示す。