[論文レビュー] Space-Time Video Regularity and Visual Fidelity: Compression, Resolution and Frame Rate Adaptation

Dae Yeol Lee, Hyunsuk Ko+2 more|arXiv (Cornell University)|Mar 31, 2021

Image and Video Quality Assessment参考文献 52被引用数 4

ひとこと要約

本論文は、圧縮、解像度、フレームレートの適応が複合的に作用する状況下での知覚的品質を予測するための新しい動画品質予測モデルを提案する。空間的・時間的にずらされたフレーム差分の自然動画統計（NVS）を活用し、運動の軌跡に沿って除法的に正規化されたフレーム差分をモデル化し、学習された回帰器を用いることで、ETRI-LIVE STSVQデータベースにおいて最先端の性能を達成し、複雑な動画歪みに対して強い耐性を示した。

ABSTRACT

In order to be able to deliver today's voluminous amount of video contents through limited bandwidth channels in a perceptually optimal way, it is important to consider perceptual trade-offs of compression and space-time downsampling protocols. In this direction, we have studied and developed new models of natural video statistics (NVS), which are useful because high-quality videos contain statistical regularities that are disturbed by distortions. Specifically, we model the statistics of divisively normalized difference between neighboring frames that are relatively displaced. In an extensive empirical study, we found that those paths of space-time displaced frame differences that provide maximal regularity against our NVS model generally align best with motion trajectories. Motivated by this, we build a new video quality prediction engine that extracts NVS features from displaced frame differences, and combines them in a learned regressor that can accurately predict perceptual quality. As a stringent test of the new model, we apply it to the difficult problem of predicting the quality of videos subjected not only to compression, but also to downsampling in space and/or time. We show that the new quality model achieves state-of-the-art (SOTA) prediction performance compared on the new ETRI-LIVE Space-Time Subsampled Video Quality (STSVQ) database, which is dedicated to this problem. Downsampling protocols are of high interest to the streaming video industry, given rapid increases in frame resolutions and frame rates.

研究の動機と目的

• 圧縮、空間的ダウンサンプリング、時間的ダウンサンプリングが複合的に作用する状況下での知覚的動画品質予測の課題に対処すること。
• 歪みによって破壊される自然動画系列における統計的規則性をモデル化すること。
• 空間的・時間的にずらされたフレーム差分を活用して、より高精度な忠実度推定を実現する品質予測エンジンを開発すること。
• 空間的・時間的サブサンプリングに特化した新しい挑戦的なベンチマークデータセット上でモデルを評価すること。
• 帯域制限のあるストリーミング環境における知覚的に正確で学習可能な動画品質評価フレームワークを提供すること。

提案手法

• 時間的・空間的にずらされた動画フレーム間の除法的に正規化された差分をモデル化し、空間的・時間的規則性を捉える。
• 学習された自然動画統計（NVS）モデルに基づき、規則性が最大化されるようにずらされたフレーム差分のパスを同定する。
• これらのずらされたフレーム差分からNVSに基づく特徴量を抽出し、学習された回帰器の入力とする。
• 多様な歪みを含む大規模データセットを用いて、主観的な動画品質スコアを予測するように回帰器を学習する。
• 本アプローチは、圧縮、解像度、フレームレートの変更の組み合わせを含むETRI-LIVE 空間的・時間的サブサンプリング動画品質（STSVQ）データベースで検証された。
• 運動の軌跡に沿ったアライメントを知覚的品質の代理指標として用いることで、現実的な歪みに高い感度を向上させた。

実験結果

リサーチクエスチョン

• RQ1 空間的・時間的にずらされたフレーム差分をどのようにして自然動画統計をモデル化し、品質予測に活用できるか？
• RQ2 NVSモデル下で規則性が最大化されるずらされたフレーム差分のパスは、実際に観測された運動の軌跡とどの程度一致するか？
• RQ3 NVS特徴に基づく学習された回帰器は、圧縮、解像度、フレームレートの適応が複合的に作用する状況下で、既存のモデルを上回る品質予測性能を達成できるか？
• RQ4 本モデルは、空間的・時間的サブサンプリングに特化したベンチマークデータセット上でどの程度の性能を示すか？
• RQ5 空間的ダウンサンプリングと時間的ダウンサンプリングの両者は、知覚的動画品質の劣化にそれぞれどの程度寄与しているか？

主な発見

• 提案手法は、ETRI-LIVE STSVQデータベースにおいて最先端の予測性能を達成し、複雑で現実的な歪み下での品質予測において、既存手法を上回った。
• NVSモデル下で規則性が最大化されるずらされたフレーム差分のパスは、実際の運動の軌跡と強く一致しており、モデルの知覚的妥当性が裏付けられた。
• 除法的に正規化されたフレーム差分の使用により、標準的な差分特徴量と比較して、知覚的歪みに対する感受性が顕著に向上した。
• 学習された回帰器は、圧縮、空間的ダウンサンプリング、時間的ダウンサンプリングの多様な組み合わせに対して効果的に一般化した。
• 本モデルは極度の帯域制限下でも高い予測精度を維持するなど、高レベルの歪みに対しても強い耐性を示した。
• 結果から、空間的・時間的規則性は視覚的忠実度の強力な予測要因であることが確認され、特に運動に依存する特徴抽出と組み合わせることで、その有効性が顕著に高まった。