[論文レビュー] Instance-Adaptive Video Compression: Improving Neural Codecs by Training on the Test Set

Ties van Rozendaal, Johann Brehmer+4 more|arXiv (Cornell University)|Nov 19, 2021

Advanced Data Compression Techniques被引用数 12

ひとこと要約

この論文は、エンコーディング時に各テスト動画シーケンスに対して事前学習済みニューラルコーデックを微調整するインスタンス適応型（InstA）動画圧縮を提案する。微調整されたモデルパラメータはエントロピー符号化され、潜在表現とともに送信され、ベースモデルに対して最大27%のBDレート削減とH.265に対して44%の削減を実現する一方で、より小さなモデルでデコーダーの計算量を70%削減する。

ABSTRACT

We introduce a video compression algorithm based on instance-adaptive learning. On each video sequence to be transmitted, we finetune a pretrained compression model. The optimal parameters are transmitted to the receiver along with the latent code. By entropy-coding the parameter updates under a suitable mixture model prior, we ensure that the network parameters can be encoded efficiently. This instance-adaptive compression algorithm is agnostic about the choice of base model and has the potential to improve any neural video codec. On UVG, HEVC, and Xiph datasets, our codec improves the performance of a scale-space flow model by between 21% and 27% BD-rate savings, and that of a state-of-the-art B-frame model by 17 to 20% BD-rate savings. We also demonstrate that instance-adaptive finetuning improves the robustness to domain shift. Finally, our approach reduces the capacity requirements of compression models. We show that it enables a competitive performance even after reducing the network size by 70%.

研究の動機と目的

• ドメインシフトや限られたトレーニングデータ下でのニューラル動画コーデックの性能ギャップを解消するため、一般化要件を緩和すること。
• アーキテクチャやトレーニング分布を変更せずに、ニューラルコーデックのレート・ディストーション性能を向上させること。
• より小さな、インスタンス最適化されたモデルを可能にすることで、デコーダー側の計算複雑性を低減すること。
• 従来のコーデックと同様に、エンコーダー計算量と圧縮効率のトレードオフを実現すること（エンコーディング時間の増加を伴う）。
• UVG、HEVC、Xiph-5Nを含む多様な動画データセットにおいて、堅牢性と効率性の向上を実証すること。

提案手法

• テスト時に個々の動画シーケンスごとに、インスタンス適応型学習を用いて事前学習済みニューラル動画コーデックを微調整する。
• パラメータのビットコストを最小化するために、学習された混合モデル事前分布に基づきエントロピー符号化で更新済みパラメータを圧縮・送信する。
• エンコーダー、事前分布、デコーダーの別々のネットワークを備えた変分オートエンコーダー枠組みを採用し、エンコーダーと事前分布を動画インスタンスごとに更新する。
• 基本モデルからのデルタ更新のみを送信することで、パラメータ送信コストを低減する（全重みではなく）。
• 一般化を示すために、Pフレーム（スケールスケープフロー）およびBフレーム（最先端）アーキテクチャの両方へ適用する。
• 微調整が数ステップ程度でも低コストで済むよう、パラメータ更新用のエントロピーモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 インスタンス適応型微調整は、固定されたグローバルモデルと比較して、ニューラル動画コーデックのレート・ディストーション性能を顕著に向上させるか？
• RQ2 自然な動画とアニメーション動画の間でドメインシフトが生じた場合、インスタンス適応型学習はその耐性を高めるか？
• RQ3 インスタンス適応を用いることで、性能を維持しつつ、ニューラルコーデックのモデルサイズをどの程度まで縮小できるか？
• RQ4 実世界の動画圧縮において、エンコーダー計算量と圧縮効率のトレードオフはどの程度効果的か？
• RQ5 微調整済みパラメータの送信オーバーヘッドを、全動画シーケンスにわたって相殺できるほど低く保てるか？

主な発見

• UVG-1k、HEVCクラスB、Xiph-5Nのデータセットにおいて、InstAはスケールスケープフローのベースモデルに対して21%～27%のBDレート削減を達成した。
• 最先端のBフレームモデルでは、ベースモデルに対して17%～20%のBDレート削減を実現した。
• 同じデータセットにおいて、ffmpeg（x265）のH.265実装を5%～44%のBDレート削減で上回った。
• ドメインシフトに対する耐性が向上し、自然な動画で学習したモデルでアニメーションシーケンスを圧縮した場合、顕著な性能向上が得られた。
• ネットワークサイズを70%まで縮小しても、InstAは競争力ある性能を維持しており、表現力要件の低減が示された。
• より小さなモデルを用いることで、デコーダー側の計算コストは70%削減され、Tesla V100 GPU上では初期パラメータデコード遅延が0.2秒未満に抑えられた。