[論文レビュー] Rate Model for Compressed Video Considering Impacts Of Spatial, Temporal and Amplitude Resolutions and Its Applications for Video Coding and Adaptation

Zhan Ma, Hao Hu+2 more|arXiv (Cornell University)|Jun 12, 2012

Video Coding and Compression Technologies参考文献 8被引用数 5

ひとこと要約

本稿では、画質圧縮動画のビットレートに及ぼす空間的、時間的、振幅（量子化）分解能の影響を、3つのべき乗関数の積として同時にモデル化する、新規の分析的レートモデルを提案する。このモデルは、多様なコーディング環境において高い精度（平均ピアソン相関係数 >0.99）を達成し、コンテンツに基づくパラメータ予測を用いることで、動画コーディングおよびスケーラブル動画適応における最適なレート・クオリティトレードオフを実現する。

ABSTRACT

In this paper, we investigate the impacts of spatial, temporal and amplitude resolution (STAR) on the bit rate of a compressed video. We propose an analytical rate model in terms of the quantization stepsize, frame size and frame rate. Experimental results reveal that the increase of the video rate as the individual resolution increases follows a power function. Hence, the proposed model expresses the rate as the product of power functions of the quantization stepsize, frame size and frame rate, respectively. The proposed rate model is analytically tractable, requiring only four content dependent parameters. We also propose methods for predicting the model parameters from content features that can be computed from original video. Simulation results show that model predicted rates fit the measured data very well with high Pearson correlation (PC) and small relative root mean square error (RRMSE). The same model function works for different coding scenarios (including scalable and non-scalable video, temporal prediction using either hierarchical B or IPPP structure, etc.) with very high accuracy (average PC $>$ 0.99), but the values of model parameters differ. Using the proposed rate model and the quality model introduced in a separate work, we show how to optimize the STAR for a given rate constraint, which is important for both encoder rate control and scalable video adaptation. Furthermore, we demonstrate how to order the spatial, temporal and amplitude layers of a scalable video in a rate-quality optimized way.

研究の動機と目的

• 空間的、時間的、振幅的分解能の影響が圧縮動画のビットレートに及ぼす連携的影響を捉える統合的分析的レートモデルの開発。
• 動画コーディングおよびスケーラブル動画適応における正確なレート制御とクオリティ最適化の実現。
• オフライン学習を必要とせず、コンテンツ特徴量からモデルパラメータを効率的に予測すること。
• スケーラブル動画コーディングにおけるレート・クオリティ最適化されたレイヤー順序付けの支援。

提案手法

• レートモデルは、フレームサイズ（空間的分解能）、フレームレート（時間的分解能）、量子化ステップサイズ（振幅的分解能）の3つのべき乗関数の積としてビットレートを表現する。
• 実験データから、各分解能パラメータに関してレートの増加がべき乗則に従うことが示されたことから、モデルを導出する。
• 最大ビットレートと各分解能次元の3つの指数を含む、4つのコンテンツ依存パラメータを用いてモデルを適合させる。
• モデルパラメータは、元の動画から抽出した3つのコンテンツ特徴量（例：活動度、複雑さ、動き）の重み付き和を用いて予測する。
• 前方および後方のレイヤー順序付けアルゴリズムを提案し、スケーラブル動画ストリームのレート・クオリティ最適化されたレイヤー列を生成する。
• モデルは、ハイアラルチカルB、IPPP、スケーラブル対非スケーラブルなど、複数のコーディング構造および動画シーケンスで検証された。

実験結果

リサーチクエスチョン

• RQ1 空間的、時間的、振幅的分解能は、圧縮動画のビットレートにどのように連携して影響を与えるか？
• RQ2 1つの分析的レートモデルが、多様な動画コーディング構成においてビットレートを高精度に記述できるか？
• RQ3 オフライン学習を必要とせず、コンテンツ特徴量からモデルパラメータを予測できるか？
• RQ4 提案されたレートモデルを用いて、固定ビットレート制約下での動画クオリティ最適化は可能か？
• RQ5 スケーラブル動画ストリームにおいて、与えられたレートでクオリティを最大化する最適なレイヤー順序付け法は何か？

主な発見

• 提案されたレートモデルは、全テスト動画シーケンスおよびコーディング構成において、予測ビットレートと測定ビットレートの間で平均ピアソン相関係数 >0.99を達成した。
• スケーラブルおよび非スケーラブル動画、さまざまな時間的予測方式を含む、異なるコーディング構造においても、高い精度（平均RRMSEが小さい）を維持した。
• 元の動画から抽出した3つのコンテンツ特徴量のみを用いても、モデルパラメータを高い精度（平均PC >0.99）で予測できた。
• 後方レイヤー順序付けアルゴリズムは、前方手法に比べてより均等に分布したレート・クオリティポイントを生成し、適応の柔軟性を向上させた。
• 提案されたレートモデルをクオリティモデルと統合することで、レート制約下での空間的・時間的・振幅的分解能の解析的最適化が可能となり、知覚的クオリティを最大化できるようになった。
• 本モデルは一般化可能であり、テストに使用されたシーケンス以外の解像度（例：720p、WVGA）および動画コンテンツに対しても妥当性が検証された。