[論文レビュー] Spatiotemporal Entropy Model is All You Need for Learned Video Compression

Zhenhong Sun, Zhiyu Tan+5 more|arXiv (Cornell University)|Apr 13, 2021

Advanced Data Compression Techniques参考文献 37被引用数 6

ひとこと要約

本論文は、動き予測モジュールを排除し、統一された自己符号化器と空間時間的エントロピー・モデルを用いて、生動画フレームを直接圧縮するモーションフリー動画圧縮（MFVC）フレームワークを提案する。この手法はMS-SSIM基準で最先端の性能を達成し、1つのモデルで可変レート制御を可能にし、複雑さと誤差伝搬を顕著に低減しながら高い圧縮効率を維持する。

ABSTRACT

The framework of dominant learned video compression methods is usually composed of motion prediction modules as well as motion vector and residual image compression modules, suffering from its complex structure and error propagation problem. Approaches have been proposed to reduce the complexity by replacing motion prediction modules with implicit flow networks. Error propagation aware training strategy is also proposed to alleviate incremental reconstruction errors from previously decoded frames. Although these methods have brought some improvement, little attention has been paid to the framework itself. Inspired by the success of learned image compression through simplifying the framework with a single deep neural network, it is natural to expect a better performance in video compression via a simple yet appropriate framework. Therefore, we propose a framework to directly compress raw-pixel frames (rather than residual images), where no extra motion prediction module is required. Instead, an entropy model is used to estimate the spatiotemporal redundancy in a latent space rather than pixel level, which significantly reduces the complexity of the framework. Specifically, the whole framework is a compression module, consisting of a unified auto-encoder which produces identically distributed latents for all frames, and a spatiotemporal entropy estimation model to minimize the entropy of these latents. Experiments showed that the proposed method outperforms state-of-the-art (SOTA) performance under the metric of multiscale structural similarity (MS-SSIM) and achieves competitive results under the metric of PSNR.

研究の動機と目的

• 動き予測モジュールに依存する従来の学習済み動画圧縮フレームワークに内在する複雑さと誤差伝搬の問題を解決すること。
• 成功した学習済み画像圧縮のインスピレーションを受けて、簡素化されたフレームワークが動画圧縮で競争力のある性能を達成できるかを調査すること。
• 残差または動きベクトルの圧縮モジュールを一切含まず、生ピクセルフレームを直接符号化する統一された圧縮フレームワークを開発すること。
• 固定レート圧縮の制限を克服し、1つのモデル内で可変レート制御を可能にすること。
• 空間時間的冗長性が、潜在表現上で統合されたエントロピー推定メカニズムによって効果的にモデル化可能であることを示すこと。

提案手法

• フレームワークは、すべての動画フレームに対して同一の分布を持つ潜在表現を生成する、単一の統一された自己符号化器を用いる。これにより、動き予測や残差圧縮を回避する。
• 空間時間的エントロピー・モデルを導入し、共同ハイパープライオリ・エンコーダ・デコーダ、空間的プライオリティ・モジュール（SPM）、時間的プライオリティ・モジュール（TPM）を組み合わせて、正確なエントロピー推定を実現する。
• SPMは、隣接する潜在特徴を活用して、各フレーム内の空間的冗長性をモデル化する。一方、TPMは、潜在空間における隣接フレーム間の時間的相関を活用する。
• 算術符号化を、空間時間的エントロピー・モデルが予測する確率に基づいて量子化済み潜在変数に適用し、効率的な圧縮を実現する。
• モデルはMSE損失を用いてエンド・ツー・エンドで学習され、エントロピー・モデルは潜在変数のエントロピーを最小化するように最適化され、ビットレートの低減が図られる。
• 復号は各フレームごとに独立して実行され、再構築済み参照フレームへの依存が排除され、誤差伝搬が回避される。

実験結果

リサーチクエスチョン

• RQ1 学習済み動画圧縮フレームワークが、動き予測モジュールを一切含まずに最先端の性能を達成できるか？
• RQ2 統一された自己符号化器と空間時間的エントロピー・モデルを組み合わせることで、動画シーケンス内の空間的および時間的冗長性を効果的にモデル化できるか？
• RQ3 動き予測と残差圧縮のモジュールを排除することで、複雑さと誤差伝搬が低減し、圧縮効率が維持または向上するか？
• RQ4 このフレームワークを用いて、1つの学習済み動画圧縮モデル内で可変レート制御を達成できるか？
• RQ5 空間的および時間的プライオリティ・モジュールが、エントロピー推定の正確さとビット節約に、個別および統合的にどのように寄与するか？

主な発見

• 提案されたMFVCフレームワークは、UVGデータセットにおいてMS-SSIM指標で最先端の性能を達成し、既存手法を上回る。
• Iフレーム圧縮（GOPサイズ1）と比較して37.71%のビット削減を達成し、SPMとTPMを両方使用した場合に35.15%のビット削減が得られた。
• 時間的プライオリティ・モジュール（TPM）が最も大きなビット節約に寄与し、ベースラインと比較して16.39%のビット削減を実現した。
• 空間的プライオリティ・モジュール（SPM）は6.95%のビット節約に寄与し、特に輪郭や背景のエントロピー低減に効果的であった。
• DVCおよびHLVCと比較して、エンコード時間は3〜4倍短縮され、デコード時間は30%短縮されたが、チャネル帯域幅はより高容量であった。
• フレームワークは1つのモデル内で可変レート制御を可能にし、学習済み動画圧縮分野で初の試みであり、レート・ディストーションのトレードオフにおける柔軟性を示した。