[論文レビュー] Hierarchical Autoregressive Modeling for Neural Video Compression

Ruihan Yang, Yibo Yang+2 more|arXiv (Cornell University)|Oct 19, 2020

Image and Signal Denoising Methods参考文献 48被引用数 6

ひとこと要約

本論文は、ニューラル動画圧縮のための階層的自己回帰モデルフレームワークを提案し、スケール・スケール・フロー（SSF）モデルに学習可能なスケーリング変換と動きおよび残差潜在変数の構造的事前分布を組み込む。動画圧縮を確率的時間自己回帰フローと解釈することで、UVGおよびMCL-JCVベンチマークで最先端のレート・ディストーション性能を達成し、HEVCや先行するニューラルコアックに比して優れている。特に低ビットレートでの性能向上が顕著である。

ABSTRACT

Recent work by Marino et al. (2020) showed improved performance in sequential density estimation by combining masked autoregressive flows with hierarchical latent variable models. We draw a connection between such autoregressive generative models and the task of lossy video compression. Specifically, we view recent neural video compression methods (Lu et al., 2019; Yang et al., 2020b; Agustssonet al., 2020) as instances of a generalized stochastic temporal autoregressive transform, and propose avenues for enhancement based on this insight. Comprehensive evaluations on large-scale video data show improved rate-distortion performance over both state-of-the-art neural and conventional video compression methods.

研究の動機と目的

• ニューラル動画圧縮と自己回帰的生成モデリングを、共通の階層的潜在変数フレームワークの下で統合すること。
• 既存モデルの事前分布および再構成部の強化により、ニューラル動画圧縮におけるレート・ディストーション性能を向上させること。
• ニューラル動画圧縮における大規模かつ高解像度のベンチマークデータセットの不足を解消するため、YouTube-NTを導入すること。
• 逐次的生成モデリングからの洞察を活用して、Scale-Space Flowのような最先端モデルの原理的拡張を提供すること。

提案手法

• 本手法は、動き推定に基づく動画圧縮を、階層的変分推論フレームワーク内での確率的時間自己回帰フローと解釈する。
• 再構成精度の向上を図るため、学習可能なスケーリング変換を導入し、先行モデルのシフトオンativeな変換を拡張してスケール調節を追加する。
• 動きと残差潜在変数を同時にモデル化する構造的事前分布を提案し、それらの空間的相関を活用して符号化効率を向上させる。
• 2段階の推論プロセスを採用：まず動き潜在変数を推論し、次にそれらをコンテキストとして用いて残差潜在変数の事前分布を条件づける。
• 一般化された自己回帰フロー変換のインスタンスとして、既存モデルのアブレーションと拡張を可能にするフレームワークを提供する。
• 今後のベンチマークとモデル学習を支援するため、新しい高解像度動画データセット「YouTube-NT」を収集・公開する。

実験結果

リサーチクエスチョン

• RQ1 階層的自己回帰フローは、既存のニューラル動画圧縮手法を統合・改善するために利用可能か？
• RQ2 学習可能なスケーリング変換を組み込むことで、再構成品質とレート・ディストーション性能にどのような影響を与えるか？
• RQ3 動きと残差潜在変数を同時にモデル化する構造的事前分布は、独立した事前分布よりも効果的にビットレートを削減できるか？
• RQ4 YouTube-NTのような大規模かつ高解像度のデータセットで学習することで、モデルの一般化性能と性能はどの程度向上するか？
• RQ5 提案された構成要素（スケーリング変換と構造的事前分布）は、個別に使用した場合と組み合わせた場合で、それぞれどのように比較できるか？

主な発見

• 提案されたSTAT-SSF-SPモデルは、UVGデータセットにおいてYUV 420モードでHEVCおよび最先端のニューラルコアックであるSSFを全ビットレート範囲で上回り、特に低レートでの性能向上が顕著である。
• 単体で使用した場合、確率的時間自己回帰変換（STAT）は構造的事前分布（SP）よりも大きな性能向上をもたらす。
• 組み合わせた場合、STATとSPは最高の改善をもたらし、STAT-SSF-SPはSTAT-SSF単体よりもさらにビットレートを削減する。
• 新たに導入されたYouTube-NTデータセットで学習することで、Vimeo-90kに比べてレート・ディストーション性能が向上し、Agustssonら（2020）が公開した大規模かつ閉鎖型データセットで学習されたモデルとの差を縮小する。
• アブレーションスタディにより、構造的事前分布が動きと残差潜在変数間の空間的相関を活用することで、符号化効率が顕著に向上することが確認された。
• 定性的な結果から、スケーリング変換と構造的事前分布を備えたモデルは、特に複雑な動き領域において、低ビットレートでも詳細な再構成を生成することがわかった。