[論文レビュー] HiNeRV: Video Compression with Hierarchical Encoding-based Neural Representation

Ho Man Kwan, Ge Gao+3 more|arXiv (Cornell University)|Jun 16, 2023

Advanced Data Compression Techniques被引用数 13

ひとこと要約

HiNeRVは、ビデオ圧縮のための階層的エンコードを用いたImplicit Neural Representationを導入し、フレーム/パッチを統一的に表現できる表現を可能にし、INRのベースラインを上回る強力なレート歪み性能を達成し、従来の/学習ベースのコーデックと競合する性能を示す。

ABSTRACT

Learning-based video compression is currently a popular research topic, offering the potential to compete with conventional standard video codecs. In this context, Implicit Neural Representations (INRs) have previously been used to represent and compress image and video content, demonstrating relatively high decoding speed compared to other methods. However, existing INR-based methods have failed to deliver rate quality performance comparable with the state of the art in video compression. This is mainly due to the simplicity of the employed network architectures, which limit their representation capability. In this paper, we propose HiNeRV, an INR that combines light weight layers with novel hierarchical positional encodings. We employs depth-wise convolutional, MLP and interpolation layers to build the deep and wide network architecture with high capacity. HiNeRV is also a unified representation encoding videos in both frames and patches at the same time, which offers higher performance and flexibility than existing methods. We further build a video codec based on HiNeRV and a refined pipeline for training, pruning and quantization that can better preserve HiNeRV's performance during lossy model compression. The proposed method has been evaluated on both UVG and MCL-JCV datasets for video compression, demonstrating significant improvement over all existing INRs baselines and competitive performance when compared to learning-based codecs (72.3% overall bit rate saving over HNeRV and 43.4% over DCVC on the UVG dataset, measured in PSNR).

研究の動機と目的

• INRベースのビデオ圧縮のフレームごとまたはパッチ単位のアプローチを超えて、レート歪み性能の向上を動機づける。
• 表現容量を増やしつつパラメータ効率を維持するため、階層的エンコードを用いてHiNeRVを開発する。
• 統一的なフレーム/パッチ表現と、損失圧縮のための実用的なモデル圧縮パイプラインを実現する。
• 標準データセット上で、従来のコーデック（HEVC/x265）および学習ベースのコーデックとHiNeRVを比較可能とする。

提案手法

• HiNeRVを導入し、軽量な層と階層的位置エンコーディングを用いて深く広いネットワークを構築する。
• HiNeRVブロックを介してパッチをアップサンプリングし、階層的エンコードで特徴マップを徐々に refined することでビデオ内容を表現する。
• アップサンプリング時には局所的な階層的エンコードを使用し、より小さなグリッドと多解像度時間グリッドで高周波情報を注入する。
• 境界アーティファクトを避けるため、重なりパッチとパディングを用いて訓練することで、フレームごとの表現とパッチごとの表現を統一する。
• 可逆圧縮で品質を損なわずに適応プルーニングと量子化対応訓練を組み込み、モデル圧縮パイプラインを改善する。

実験結果

リサーチクエスチョン

• RQ1 HiNeRVの階層的エンコーディングは、既存のINRベースのビデオコーデックよりレート歪み性能を改善できるか。
• RQ2 統一的なフレーム/パッチ表現は、エンコード/デコードの柔軟性と性能に実用的な利点を提供するか。
• RQ3 適応プルーニングと量子化対応訓練は、低ビットレートでHiNeRVの品質をどの程度維持できるか。
• RQ4 HiNeRVは標準データセット（UVG, MCL-JCV）で従来のコーデック（HEVC/x265）および学習ベースのコーデックとどう比較されるか。

主な発見

• HiNeRVはすべてのINRベースラインを大幅に上回る（例：UVGでPSNRにおくるHNeRV対比で72.3%のBDレート改善）。
• HiNeRVは従来の/学習ベースのコーデックと競合しており、UVGおよびMCL-JCVでPSNR/SSIMのBDレート削減を実現。
• 重なるパッチを用いた統一的なフレーム/パッチ表現は境界アーティファクトを減らし、再訓練を不要にして柔軟なエンコード/デコード設定を可能にする。
• 適応プルーニングと量子化対応訓練を組み込んだ refined な圧縮パイプラインは、6ビット量子化下でHiNeRVのレート歪み性能を維持するのに役立つ。
• HiNeRVはUVGおよびMCL-JCVデータセット全体で、同等のパラメータ数で優れた再構成品質を示し、GPU（A100）でのデコード速度と拡張可能なエンコード/デコード性能を示す。