[論文レビュー] NIRVANA: Neural Implicit Representations of Videos with Adaptive Networks and Autoregressive Patch-wise Modeling

Shishira R Maiya, Sharath Girish+7 more|arXiv (Cornell University)|Dec 30, 2022

Advanced Image Processing Techniques被引用数 4

ひとこと要約

NIRVANAは、時間的クリップ間で局所的領域ごとの予測を用いて動画をモデル化するスケーラブルで自己回帰的なニューラル暗黙的動画表現を提案する。各クリップのネットワークは、前のクリップからの適応的で量子化された重みを用いて初期化される。12倍の高速化と可変ビットレート圧縮を達成しながらも、高い再構成品質を維持し、UVGで37.70 PSNRを達成し、先行手法を上回る性能を発揮した。

ABSTRACT

Implicit Neural Representations (INR) have recently shown to be powerful tool for high-quality video compression. However, existing works are limiting as they do not explicitly exploit the temporal redundancy in videos, leading to a long encoding time. Additionally, these methods have fixed architectures which do not scale to longer videos or higher resolutions. To address these issues, we propose NIRVANA, which treats videos as groups of frames and fits separate networks to each group performing patch-wise prediction. This design shares computation within each group, in the spatial and temporal dimensions, resulting in reduced encoding time of the video. The video representation is modeled autoregressively, with networks fit on a current group initialized using weights from the previous group's model. To further enhance efficiency, we perform quantization of the network parameters during training, requiring no post-hoc pruning or quantization. When compared with previous works on the benchmark UVG dataset, NIRVANA improves encoding quality from 37.36 to 37.70 (in terms of PSNR) and the encoding speed by 12X, while maintaining the same compression rate. In contrast to prior video INR works which struggle with larger resolution and longer videos, we show that our algorithm is highly flexible and scales naturally due to its patch-wise and autoregressive designs. Moreover, our method achieves variable bitrate compression by adapting to videos with varying inter-frame motion. NIRVANA achieves 6X decoding speed and scales well with more GPUs, making it practical for various deployment scenarios.

研究の動機と目的

• 従来の暗黙的ニューラル表現（INR）手法における動画圧縮の非効率さとスケーラビリティの欠如、特に長時間のエンコード時間と固定アーキテクチャの欠如を解決すること。
• ピクセルやフルフレームではなく、複数フレームのグループにわたる局所的領域をモデル化することで、動画内の空間時間的冗長性を活用すること。
• 適応的で自己回帰的なネットワーク初期化と量子化を用いることで、解像度、継続時間、動きの複雑さが異なる動画に対応可能な柔軟な圧縮を実現すること。
• 事後的なプルーニングや量子化を必要とせず、トレーニング段階で量子化を統合することで、高い圧縮効率を達成すること。
• INRベースの動画圧縮を実世界での展開に実用可能にするために、デコード速度の向上とGPU間でのスケーラビリティの向上を図ること。

提案手法

• 動画を時間的クリップ（フレームのグループ）に分割し、各クリップに対して局所的領域の空間時間的ボリュームを予測する別個のニューラルネットワークを適合させる。
• 各ネットワークは、前のクリップのネットワークの学習済み重みを用いて初期化され、時間的整合性を活用する自己回帰的モデリングを実現する。
• トレーニング段階でネットワーク重みの量子化を実施し、事後処理による圧縮技術の必要性を排除するとともに、モデルのエントロピーを低減する。
• 連続するクリップ間のネットワークの残差を符号化することで、さらにモデルを圧縮し、エントロピー正則化がPSNR-BPPのトレードオフを制御する。
• アーキテクチャは解像度に依存しない：入力として局所的領域の座標が用いられ、アーキテクチャの変更なしに異なる空間的解像度に適応可能である。
• トレーニングは、量子化された重みのエントロピーに正則化項を含む損失関数を用いて実施され、ビットレートを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 自己回帰的で局所的領域ごとのINRフレームワークは、従来のピクセルまたはフレーム単位の手法と比較して、エンコード速度と圧縮効率を向上させることができるか？
• RQ2 クリップ固有のネットワークに対する自己回帰的初期化は、動画の継続時間や解像度が異なる状況下でも、モデルの性能とスケーラビリティにどのように影響を与えるか？
• RQ3 トレーニング段階でのネットワーク内量子化は、高い再構成品質を維持しつつ、事後的なモデル圧縮の必要性をどれほど排除できるか？
• RQ4 本手法は、フレーム間の動きの変化にどのように適応し、自然に可変ビットレート圧縮を達成できるか？
• RQ5 局所的領域サイズ、フレームグループサイズ、およびトレーニングイテレーション数が、動画INR圧縮におけるPSNR-BPPトレードオフに与える影響は何か？

主な発見

• NIRVANAはUVGデータセットで37.70のPSNRを達成し、先行の最良手法（37.36）を0.34ポイント上回ったが、同じ圧縮レートを維持した。
• 従来のINRベースの動画圧縮手法と比較して、エンコード時間を12倍短縮し、実用性が著しく向上した。
• デコード速度は6倍に向上し、GPUの数を増やすことで効率的にスケーリングされ、分散環境での高速推論を可能にした。
• 局所的領域サイズを8×8から48×48に増加させるとPSNRが向上するが、動的シーンでは残差エントロピーが上昇し、BPPが増加する。
• フレームグループサイズが3のとき、0.8 BPP未満の領域でPSNR-BPPトレードオフが最良となり、より大きなグループサイズは動的コンテンツで性能を低下させる。
• 最大5000イテレーションまで延長したトレーニングは、PSNRに次第に改善をもたらすが、収束は緩やかであり、ビットレートを増加させることなく再構成品質が向上することが示された。