[論文レビュー] Prediction of Satisfied User Ratio for Compressed Video

Haiqiang Wang, Ioannis Katsavounidis+3 more|arXiv (Cornell University)|Oct 30, 2017

Image and Video Quality Assessment参考文献 11被引用数 3

ひとこと要約

本論文では、局所的VMAF品質スコア、グローバル集約、マスキング効果、およびサポートベクターレグレッション（SVR）を用いて、H.264圧縮動画の満足ユーザー比（SUR）曲線を予測する機械学習フレームワークを提案する。この手法は、予測誤差が低く（MAE = 0.038）、720p解像度の動画に対して最初のJND点の推定が高く正確であり、平均絶対誤差は1.273 QPであった。

ABSTRACT

A large-scale video quality dataset called the VideoSet has been constructed recently to measure human subjective experience of H.264 coded video in terms of the just-noticeable-difference (JND). It measures the first three JND points of 5-second video of resolution 1080p, 720p, 540p and 360p. Based on the VideoSet, we propose a method to predict the satisfied-user-ratio (SUR) curves using a machine learning framework. First, we partition a video clip into local spatial-temporal segments and evaluate the quality of each segment using the VMAF quality index. Then, we aggregate these local VMAF measures to derive a global one. Finally, the masking effect is incorporated and the support vector regression (SVR) is used to predict the SUR curves, from which the JND points can be derived. Experimental results are given to demonstrate the performance of the proposed SUR prediction method.

研究の動機と目的

• H.264符号化動画クリップの満足ユーザー比（SUR）曲線を機械学習的手法を用いて予測すること。
• JNDを直接予測するのではなく、ユーザー満足度をモデル化することで、JND点の推定を改善すること。
• 局所的品質劣化と空間的・時間的マスキング効果を予測フレームワークに組み込むこと。
• 大規模なVideoSetデータセットを活用して、SUR予測モデルの学習と検証を実施すること。
• 動画品質評価のため、予測されたSUR曲線から正確にJND点を導出可能にすること。

提案手法

• 時間的および空間的分析のため、固定ウィンドウサイズ（W×H）を用いて各動画クリップを局所的空間時間的セグメントに分割する。
• 各セグメントのVMAF品質インデックスを計算し、局所的品質劣化を評価する。
• 20の品質レベルにおける累積分布を用いて、局所的VMAFスコアをグローバル品質劣化特徴ベクトルに集約する。
• 参照動画からの空間的ランダムネス（SR）および時間的ランダムネス（TR）を用いてマスキング特徴を抽出し、20次元のヒストグラム特徴ベクトルを形成する。
• 20次元の品質劣化ベクトルと20次元のマスキング特徴ベクトルを連結して、40次元の入力特徴ベクトルを生成する。
• 径間基底関数カーネルとεに敏感な損失関数を用いたサポートベクターレグレッサー（SVR）を訓練し、40次元特徴ベクトルからSUR曲線を予測する。

実験結果

リサーチクエスチョン

• RQ1 機械学習フレームワークは、H.264圧縮動画の満足ユーザー比（SUR）曲線を正確に予測できるか？
• RQ2 局所的品質劣化とマスキング効果を組み込むことで、SUR予測性能はどのように向上するか？
• RQ3 予測されたSUR曲線から最初のJND点をどの程度正確に導出できるか？
• RQ4 異なる動画解像度（1080p、720p、540p、360p）において、予測精度はどのように変化するか？
• RQ5 固定された空間時間的セグメントパラメータは、特に低解像度において予測誤差にどのような影響を及えるか？

主な発見

• 提案されたSUR予測手法は、720p動画クリップにおいてSUR曲線の平均絶対誤差（MAE）が0.038を達成した。
• 720p解像度において、最初のJND点の予測誤差は平均で1.273 QPであり、JND推定の高精度を示している。
• 低解像度ではわずかに性能が低下し、360pではQP誤差が1.605に達したが、これは固定されたセグメントウィンドウサイズに起因すると考えられる。
• 予測されたSUR曲線は、真値と強く相関しており、JND予測値と真値のプロットにおいて、45度線に密接に並ぶ点が確認された。
• 累積的品質劣化曲線特徴ベクトルは、QPレベルに応じた知覚的品質変化を効果的に捉えている。
• 空間的および時間的ランダムネスに基づくマスキング特徴の導入により、複雑な視覚的コンテンツ下でのユーザー満足度予測能力が向上した。