[論文レビュー] CNeRV: Content-adaptive Neural Representation for Visual Data

Hao Chen, Matt Gwilliam+3 more|arXiv (Cornell University)|Nov 18, 2022

Advanced Image Processing Techniques被引用数 8

ひとこと要約

CNeRVは、自己符号化器の一般化性と暗黙的ニューラル表現のcompactさを組み合わせた、視覚データ向けのコンテンツ適応型ニューラル表現を提案する。1層のミニエンコーダーを用いてコンテンツに適応した埋め込みを生成することで、未学習フレームの符号化を120倍高速化し、特に未学習画像において、NeRV や自己符号化器よりも再構成品質と速度で優れる。

ABSTRACT

Compression and reconstruction of visual data have been widely studied in the computer vision community, even before the popularization of deep learning. More recently, some have used deep learning to improve or refine existing pipelines, while others have proposed end-to-end approaches, including autoencoders and implicit neural representations, such as SIREN and NeRV. In this work, we propose Neural Visual Representation with Content-adaptive Embedding (CNeRV), which combines the generalizability of autoencoders with the simplicity and compactness of implicit representation. We introduce a novel content-adaptive embedding that is unified, concise, and internally (within-video) generalizable, that compliments a powerful decoder with a single-layer encoder. We match the performance of NeRV, a state-of-the-art implicit neural representation, on the reconstruction task for frames seen during training while far surpassing for frames that are skipped during training (unseen images). To achieve similar reconstruction quality on unseen images, NeRV needs 120x more time to overfit per-frame due to its lack of internal generalization. With the same latent code length and similar model size, CNeRV outperforms autoencoders on reconstruction of both seen and unseen images. We also show promising results for visual data compression. More details can be found in the project pagehttps://haochen-rye.github.io/CNeRV/

研究の動機と目的

• 動画圧縮におけるNeRVのような暗黙的ニューラル表現の、未学習フレームにおける一般化性能の低さを是正すること。
• 自己符号化器の一般化性と、暗黙的表現のcompactさと単純さを統合すること。
• 特に未学習画像において、フレームごとの過学習を回避しつつ、高速でコンテンツに適応した符号化を可能にすること。
• SOTA手法（NeRV や自己符号化器）と比較して、優れた再構成品質と符号化速度を達成すること。
• 学習済み埋め込みとモデルパラメータを用いた視覚データ圧縮における強力な性能を示すこと。

提案手法

• フレームインデックスや位置符号化に依存せず、視覚的コンテンツを符号化するコンテンツ適応型埋め込み（CAE）を導入する。
• 入力フレームからコンパクトでコンテンツに適応した潜在コードを生成する、1層のミニネットワークエンコーダーを採用する。
• 強力で共有されたデコーダーネットワークを用い、コンテンツ適応型埋め込みから画像を再構成する。
• 内部的に一般化可能なモデル設計により、フレームを飛ばした（未学習の）フレームの高品質な再構成が可能となり、フレームごとの過学習を回避する。
• デコーダーのインダクティブバイアスを活用して、大部分の視覚的事前知識を保持し、大規模な潜在コードへの依存を最小限に抑える。
• 一部のフレームを学習対象としつつ、他のフレームへの一般化を実現するように、学習済みおよび未学習の画像再構成を最適化する。

実験結果

リサーチクエスチョン

• RQ1 フレームごとの過学習を回避しつつ、未学習フレームの高品質な再構成が可能なニューラル表現は実現可能か？
• RQ2 一般化性と速度の観点から、インデックスベースや位置符号化と比較して、コンテンツ適応型埋め込みはどのように優れるか？
• RQ3 コンパクトで1層のエンコーダーは、より大きな自己符号化器と比較して、再構成品質と符号化速度で優れるか？
• RQ4 自己符号化器風の一般化性と暗黙的表現のcompactさを組み合わせることで、視覚データ圧縮が向上するか？
• RQ5 H.264 や HEVC といった従来のコーデックと比較して、CNeRVのレート・ディストーショントレードオフ性能はいかがなものか？

主な発見

• CNeRVは、自己符号化器と比較して未学習フレームで+3.5 dBのPSNR向上を達成し、学習済みフレームでも高い性能を維持する。
• CNeRVは、未学習フレームの符号化をNeRVの120倍高速化しており、NeRVは妥当な再構成を得るためにはフレームごとの過学習が必要である。
• 同じ潜在コード長さと類似したモデルサイズで、CNeRVは学習済みおよび未学習画像の両方の再構成において、自己符号化器を上回る性能を発揮する。
• CNeRVは、NeRVよりも優れた再構成品質を達成しており、アーチファクトが少なく、前のフレームからの漏れも発生しない。
• CNeRVは、H.264 や HEVC と比較して、動画全体（学習済みおよび未学習フレームを含む）を圧縮する際、同等のビットレートでPSNRおよびSSIMの両面で優れる。
• 本手法により、補間された埋め込みを用いた高速フレーム補間が可能となり、低フレームレートデータセットではCNeRVに近い性能を達成するが、Bunnyのような複雑なシーケンスでは性能が低下する。