[論文レビュー] Conditional Entropy Coding for Efficient Video Compression

Jerry Liu, Shenlong Wang+5 more|arXiv (Cornell University)|Aug 20, 2020

Advanced Image Processing Techniques参考文献 35被引用数 4

ひとこと要約

本稿では、深層画像圧縮器から得られる独立した潜在コード間の条件付きエントロピーをモデル化する軽量でエントロピー中心の動画圧縮フレームワークを提案する。この手法は、H.265や最先端の深層学習ベースの基準手法と同等の性能を達成するとともに、デコード速度が数千倍速く、実用的である。さらに、デコード時間に追加コストをかけずに、推論中に内部学習を導入することで、レート・ディストーション性能を約10%向上させた。

ABSTRACT

We propose a very simple and efficient video compression framework that only focuses on modeling the conditional entropy between frames. Unlike prior learning-based approaches, we reduce complexity by not performing any form of explicit transformations between frames and assume each frame is encoded with an independent state-of-the-art deep image compressor. We first show that a simple architecture modeling the entropy between the image latent codes is as competitive as other neural video compression works and video codecs while being much faster and easier to implement. We then propose a novel internal learning extension on top of this architecture that brings an additional 10% bitrate savings without trading off decoding speed. Importantly, we show that our approach outperforms H.265 and other deep learning baselines in MS-SSIM on higher bitrate UVG video, and against all video codecs on lower framerates, while being thousands of times faster in decoding than deep models utilizing an autoregressive entropy model.

研究の動機と目的

• 既存の深層学習ベースの動画圧縮手法における高い計算コストと遅いデコード速度を解消すること。
• 動き補償や残差符号化などの明示的なフレーム変換を回避することで、複雑さを低減すること。
• 潜在コード上の条件付きエントロピーを用いて、フレーム間相関を唯一の手段としてモデル化することで、圧縮効率を向上させること。
• 自律走行車や動画ストリーミングプラットフォームなどの実世界のシステムへの、学習ベースの動画圧縮の高速かつ実用的な導入を可能にすること。

提案手法

• 各動画フレームを独立に事前学習済みの深層画像圧縮器で潜在コードに符号化し、フレームレベルの変換を回避する。
• 1番目のフレームの潜在コードを条件として、2番目のフレームの潜在コードの確率を推定する条件付きエントロピーモデルを学習し、エントロピー符号化によって結合ビットレートを低減する。
• フレームシーケンス内の隣接フレームペアに条件付きエントロピーモデルを適用し、明示的な動き補償なしにエンドツーエンドの動画圧縮を実現する。
• 推論中に内部学習を導入：デコード速度に影響を与えずに、レート・ディストーション性能を向上させるために潜在コードを繰り返し最適化する。
• 内部学習には、PyTorchのautogradを用いた標準的なバックプロパゲーションを採用するが、実装は最適化されていない。
• UVG、CDVL、NorthAmericaのデータセットを用い、さまざまなフレームレートとビットレートでモデルを評価し、耐久性と性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 独立したフレーム潜在コード間の条件付きエントロピーモデリングに依存する動画圧縮システムが、従来の手法や深層学習ベースのコーデックを上回ることができるか？
• RQ2 明示的な動き補償や残差符号化を排除することで、圧縮効率に損なわれることなく、デコード速度に顕著な高速化が達成できるか？
• RQ3 推論中に潜在コードの内部学習を実施することで、デコード時間に追加コストをかけずに、レート・ディストーション性能を向上させることができるか？
• RQ4 低フレームレートおよび高ビットレートにおいて、H.265や他の深層学習ベースの基準手法と比較して、本手法の性能はどの程度か？
• RQ5 特に従来のコーデックが困難に感じる状況において、本手法は多様な動画コンテンツとフレームレートに対してどの程度耐久性を示すか？

主な発見

• 基本的な条件付きエントロピーモデルは、UVGデータセットの高ビットレート領域において、H.265や最先端の深層学習動画コーデックと同等のMS-SSIM性能を達成する。
• 低フレームレート（UVGでは12 Hz、CDVLでは6 Hz）において、単一画像圧縮をベースラインとして用いても、H.265を大幅に上回るMS-SSIM性能を示す。
• 条件付きエントロピーモデルにより、全テストフレームレートおよびデータセットで、単一画像圧縮と比較して20–50%のビットレート低減が達成された。
• 内部学習により、全ビットレート設定および環境で、追加の約10%のビットレート低減が得られ、デコード時間に変化はなかった。
• 自己回帰的エントロピーモデルと比較して、デコードが数千倍速いため、リアルタイム応用に実用的である。
• NorthAmericaデータセットにおいて、高ビットレートでH.265をMS-SSIMで上回り、自律走行車が走行中の状況でも優位性を維持した。