[論文レビュー] Perceptual Quality of Video with Periodic Frame Rate and Quantization Variation-Subjective Studies and Analytical Modeling

Yen-Fu Ou, Wenzhi Lin+2 more|arXiv (Cornell University)|Jun 8, 2014

Image and Video Quality Assessment参考文献 7被引用数 3

ひとこと要約

本稿では、周期的なフレームレート（FR）および量子化ステップサイズ（QS）の変動を伴う動画の知覚品質モデルを提案する。主観的評価と最小二乗法フィッティングを用いて、シンプルな解析的モデル（FR用にQTV、QS用にQQV）を導出する。主な発見として、$t_h/t_l > 2$ のとき、FRの変動による品質劣化は飽和する。また、QSの変動は $q_h/q_l$ が大きい場合に劣化が顕著となり、変動周波数が遅いほど知覚的な品質損失が小さくなる。

ABSTRACT

In networked video applications, the frame rate (FR) and quantization stepsize (QS) of a compressed video are often adapted in response to the changes of the available bandwidth. It is important to understand how do the variation of FR and QS and their variation pattern affect the video quality. In this paper, we investigate the impact of temporal variation of FR and QS on the perceptual video quality. Among all possible variation patterns, we focus on videos in which two FR's (or QS's) alternate over a fixed interval. We explore the human responses to such variation by conducting subjective evaluation of test videos with different variation magnitudes and frequencies. We further analyze statistical significance of the impact of variation magnitude, variation frequency, video content, and their interactions. By analyzing the subjective ratings, we propose two models for predicting the quality of video with alternating FR and QS, respectively, The proposed models have simple mathematical forms with a few content-dependent parameters. The models fit the measured data very well using parameters determined by least square fitting with the measured data. We further propose some guidelines for adaptation of FR and QS based on trends observed from subjective test results.

研究の動機と目的

• 周期的な時間的変動（フレームレートおよび量子化ステップサイズ）が知覚的動画品質に与える影響を理解すること。
• 変動の大きさと周波数に基づいて知覚的品質を予測する解析的モデルを開発すること。
• 動的ネットワーク環境におけるレート適応のための設計指針を提供すること。
• 同一のビットレート変動下で、FRとQSの変動がもたらす知覚的影響を比較すること。
• 主観的テストデータを用いて、コンテンツ依存のパrameterを特定し、品質予測に用いること。

提案手法

• 固定間隔（Fz）で交互に切り替わるフレームレート（$t_l$, $t_h$）および量子化ステップサイズ（$q_l$, $q_h$）を有するテスト動画を用いて、主観的品質評価を実施した。
• 変動の大きさ、周波数、動画コンテンツ、およびそれらの相互作用の統計的有意性を検証するため、分散分析（ANOVA）を用いた。
• FRの変動に適したQTVモデルを提案。品質は、定常FR品質と、$t_l/t_h$ のみに依存する劣化項の積としてモデル化される。
• QSの変動に適したQQVモデルを提案。同様に、定常QS品質と、$q_l/q_h$ に基づく劣化要因を組み合わせたものである。
• 主観的テストの平均意見スコア（MOS）に基づいて、最小二乗回帰を用いてモデルパラメータをフィッティングした。
• 複数のテストシーケンスを用いてモデルを検証し、今後の拡張のための動画コンテンツからのパラメータ予測について議論した。

実験結果

リサーチクエスチョン

• RQ1 周期的なフレームレートの変動は、知覚的動画品質にどのように影響するか。また、変動の大きさと周波数はどのような役割を果たすか。
• RQ2 周期的な量子化ステップサイズの変動は、知覚的品質にどのように影響するか。また、定常QSと比較してどうか。
• RQ3 同じ平均ビットレート下で、フレームレートを変動させる場合と、量子化ステップサイズを変動させる場合の相対的な知覚的影響は何か。
• RQ4 FRまたはQSの周期的変動による品質劣化は、高比率で飽和するか。もしそうならば、その閾値は何か。
• RQ5 動画コンテンツの特性は、FRおよびQSの変動に対する感受性にどのように影響するか。

主な発見

• フレームレートの周期的変動による品質劣化は、比 $t_h/t_l > 2$ のとき飽和する。これは、この閾値を超えると劣化の改善効果が小さくなることを示している。
• 量子化ステップサイズの変動では、$q_h/q_l$ が大きくかつ $q_l$ が小さい場合に劣化が顕著となり、$q_l/q_h < 0.4$ のとき改善が飽和する。
• 遅い変動周波数（長いFz）は、定常QSと比較して品質の低下が小さくなるが、同様の条件下ではFR変動ではこの効果が観察されない。
• 同じ平均QSの下で、QSが一定の動画は、QSが変動する動画よりも知覚的に優れている。これは、変動自体が品質を劣化させることを示している。
• 高レートポイントで高品質コーディングが可能な場合、QSの適応はFRの適応よりも知覚的に優れている。これは動画の動きの内容にかかわらず成り立つ。
• 提案されたQTVおよびQQVモデルは、最小二乗フィッティングにより導出された少数のコンテンツ依存パラメータを用いて、主観的データをよく適合する。