[論文レビュー] An Augmented Autoregressive Approach to HTTP Video Stream Quality Prediction

Christos G. Bampis, Alan C. Bovik|arXiv (Cornell University)|Jul 10, 2017

Image and Video Quality Assessment参考文献 22被引用数 6

ひとこと要約

本稿では、複数の動画品質評価（VQA）モデル出力を統合し、単純な平均アンサンブルを適用することで、連続時間のHTTP動画品質予測を向上させる拡張型非線形自己回帰ネットワーク（NARX）モデルを提案する。この手法は、特にST-RRED、GMSD、SSIMを組み合わせた場合に予測誤差を顕著に低減し、LIVE-NFLX QoEデータベースにおいて、単一入力NARXおよびアンサンブルなしのベースラインを上回る性能を発揮する。

ABSTRACT

HTTP-based video streaming technologies allow for flexible rate selection strategies that account for time-varying network conditions. Such rate changes may adversely affect the user's Quality of Experience; hence online prediction of the time varying subjective quality can lead to perceptually optimised bitrate allocation policies. Recent studies have proposed to use dynamic network approaches for continuous-time prediction; yet they do not consider multiple video quality models as inputs nor consider forecasting ensembles. Here we address the problem of predicting continuous-time subjective quality using multiple inputs fed to a non-linear autoregressive network. By considering multiple network configurations and by applying simple averaging forecasting techniques, we are able to considerably improve prediction performance and decrease forecasting errors.

研究の動機と目的

• 単一のVQA入力に依存する従来の連続時間QoE予測モデルの限界を解消すること。
• 異なる補完的特徴を持つ複数のVQAモデル（例：SSIM、GMSD、ST-RRED、VMAF）をNARXネットワークの入力として統合し、予測精度を向上させること。
• 異なるVQA入力からの時系列予測を統合する単純な平均アンサンブルを適用し、予測誤差を低減すること。
• オンライン（OL）およびクローズドループ（CL）NARX構成間の、予測性能と計算コストのトレードオフを評価すること。
• ST-RREDのような高性能なVQAモデルを他のモデル（例：GMSD、SSIM）と組み合わせることで、アンサンブル平均を用いた場合に優れた結果が得られることを示すこと。

提案手法

• 時間系列入力を用いて連続時間の主観的動画品質を予測する非線形自己回帰型外部入力付き（NARX）モデルを採用する。
• ST-RRED、GMSD、SSIM、VMAF、NIQEなどの複数のVQAモデル出力を、品質劣化特性の多様性を捉えるためにNARXネットワークの外部入力として入力する。
• 2種類の学習設定を実装する：オンライン（OL）では各VQAモデルを独立して学習し、クローズドループ（CL）では予測値をネットワークにフィードバックする。
• 複数のVQAモデル予測からの予測値を統合する単純な平均アンサンブルを適用し、耐性性を高め、分散を低減する。
• LIVE-NFLX動画QoEデータベースを訓練および評価に使用し、標準指標（OR：全体的レート、SROCC：スピアマン順位相関、PLCC：ピアソン線形相関）を用いる。
• 評価指標の中央値を用いて、異なる入力組み合わせ、構成（OL対CL）、アンサンブル戦略の間で性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 複数のVQAモデル出力を統合することで、単一モデルを用いた場合に比べ、連続時間QoE予測の精度が向上するか？
• RQ2 複数のVQA予測値に対して単純な平均アンサンブルを適用することで、予測誤差が低減し、耐性性が向上するか？
• RQ3 オンライン（OL）およびクローズドループ（CL）NARX構成は、予測性能および学習効率の面でどのように比較されるか？
• RQ4 ST-RREDなどの高性能なVQAモデルを他のモデルと組み合わせた場合、どの組み合わせが最も優れた予測性能を示すか？
• RQ5 ST-RREDのような高性能モデルの組み込みが、アンサンブル平均によるQoE予測の利点をどれほど強化するか？

主な発見

• 最も優れた性能を示したのは、OL NARX設定に平均アンサンブルを適用し、ST-RRED、GMSD、SSIMの3つの入力を使用した構成で、ORが3.5135、SROCCが0.9321、PLCCが0.9396を達成した。
• 平均アンサンブルは、すべてのVQA組み合わせおよび構成において一貫して予測誤差を低減したが、特にST-RREDとGMSD、SSIMを組み合わせた場合に顕著な改善が見られた。
• OL構成は、精度および学習効率の両面でCL構成を上回り、同じ入力数に対して最大2.5倍の学習時間がかかることが判明した。
• ST-RREDを他のモデル（例：SSIM、GMSD）と組み合わせることで、ST-RRED単体よりも優れた結果が得られ、多様なVQAモデルからの補完的情報が有効であることが示された。
• 複数入力とアンサンブル平均を組み合わせたNARXモデルは、元の単一入力NARXモデルを著しく上回り、特に圧縮アーチファクトを含む動画や再バッファリングのない動画において顕著な改善が見られた。
• アンサンブル平均の効果は、OL構成で最も顕著に現れ、ST-RRED/GMSD/SSIMの組み合わせで、最高のSROCC（0.9321）およびPLCC（0.9396）が達成された。