[論文レビュー] Region-of-Interest Based Neural Video Compression

Yura Perugachi-Diaz, Guillaume Sautière+4 more|arXiv (Cornell University)|Mar 3, 2022

Image and Signal Denoising Methods被引用数 4

ひとこと要約

本稿では、ROIマスクを用いてビットを適応的に割り当てることで、領域別重要度（ROI）の品質を優先する2つの新しいニューラル動画圧縮フレームワークを提案する。暗黙的モデルは学習中に背景の歪みを軽視するが、明示的ラティントスケーリングモデルは学習されたゲインテンソルを用いて、空間的領域ごとの量子化ビン幅を制御する。両手法とも、訓練時にピクセルレベルのROIアノテーションを必要とせず、DAVIS上で既存のベースラインを上回る顕著なレート・歪みの向上を達成しており、データセット間で一般化可能である。

ABSTRACT

Humans do not perceive all parts of a scene with the same resolution, but rather focus on few regions of interest (ROIs). Traditional Object-Based codecs take advantage of this biological intuition, and are capable of non-uniform allocation of bits in favor of salient regions, at the expense of increased distortion the remaining areas: such a strategy allows a boost in perceptual quality under low rate constraints. Recently, several neural codecs have been introduced for video compression, yet they operate uniformly over all spatial locations, lacking the capability of ROI-based processing. In this paper, we introduce two models for ROI-based neural video coding. First, we propose an implicit model that is fed with a binary ROI mask and it is trained by de-emphasizing the distortion of the background. Secondly, we design an explicit latent scaling method, that allows control over the quantization binwidth for different spatial regions of latent variables, conditioned on the ROI mask. By extensive experiments, we show that our methods outperform all our baselines in terms of Rate-Distortion (R-D) performance in the ROI. Moreover, they can generalize to different datasets and to any arbitrary ROI at inference time. Finally, they do not require expensive pixel-level annotations during training, as synthetic ROI masks can be used with little to no degradation in performance. To the best of our knowledge, our proposals are the first solutions that integrate ROI-based capabilities into neural video compression models.

研究の動機と目的

• ニューラル動画コーデックにおける均一なビット割り当ての制限、特に人間の視覚の中心部（洞視）のような知覚的に重要な領域を優先できない点を是正すること。
• 学習プロセスにROI認識を統合することで、ニューラル動画圧縮における非均一なレート・歪み最適化を可能にすること。
• 訓練時に真値ピクセルレベルのアノテーションを必要とせず、データセットやROI仕様に一般化可能なモデルを設計すること。
• 従来のニューラルおよび従来のコーデックと比較して、優れたROI特化型のレート・歪み性能を達成しながら、計算効率を維持すること。

提案手法

• 暗黙的ROIモデルは、背景ペナルティハイパーパrameter γ を用いて背景領域の歪みを軽視するように変更された歪み損失関数で学習される。
• 明示的ラティントスケーリングモデルは、ROIマスクから補助オートエナジーファイアが生成するゲインテンソルを導入し、ラティスチャネルの各空間的領域における量子化ビン幅を調整する。
• ゲインテンソルは、スカラ量子化における離散的マスクの連続的かつ学習可能な同等物として機能し、量子化解像度に対する細かい制御を可能にする。
• 両モデルともスケールスケープフロー（SSF）アーキテクチャに基づき、ハイパープライアに基づく動画圧縮フレームワークと互換性を持つ。
• 微分可能な量子化を実現するため、ストレートスルーグレディエント推定と加法的均一ノイズを用いる。これにより、エンドツーエンドの学習が可能になる。
• 訓練時に合成されたROIマスクが使用され、性能劣化が最小限に抑えられ、アノテーションフリーの学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 学習時にROIを優先するように学習することで、ニューラル動画コーデックがROI領域において優れたレート・歪み性能を達成できるか？
• RQ2 ROIマスクの高価なピクセルレベルのアノテーションを必要とせずに、ROIベースの圧縮をニューラル動画コーデックに統合できるか？
• RQ3 提案されたモデルは、再訓練なしに推論時に異なるデータセットやROI仕様に一般化できるか？
• RQ4 標準ベースラインと比較して、ニューラル動画コーデックにROI認識圧縮を導入した際の計算コストはどの程度か？
• RQ5 明示的ラティントスケーリング機構は、損失に基づく背景の軽視と比較して、ROI品質とレート・歪みトレードオフの面で優れているか？

主な発見

• 提案された暗黙的および明示的ROIベースのモデルは、DAVISデータセットで69.3%のBDレート向上を達成し、ROI-PSNRにおいてベースラインモデルを顕著に上回った。
• 合成されたROIマスクで学習した後でも、推論時に異なるデータセットやROI仕様に良好に一般化した。
• 合成されたROIマスクで学習しても、真値マスクで学習した場合と同等の視覚的および定量的性能を達成しており、弱教師付き学習による劣化が最小限であることが確認された。
• ラティントスケーリングモデルの実行時オーバーヘッドは中程度であり、720p入力に対してIフレームのエンコードFPSが17%低下し、デコードFPSが24%低下したが、ベースラインSSRと比較して依然として実用的であった。
• 明示的ラティントスケーリングモデルは、量子化解像度の制御がより良く、特に低ビットレート時において暗黙的モデルよりも高いROI品質を達成した。
• 両モデルとも、ROI領域では高い知覚的品質を維持しながら背景をより強く歪ませており、人間の視覚系の特性と整合的である。