[論文レビュー] Assessing the Quality-of-Experience of Adaptive Bitrate Video Streaming

Zhengfang Duanmu, Wentao Liu+5 more|arXiv (Cornell University)|Aug 20, 2020

Image and Video Quality Assessment参考文献 52被引用数 20

ひとこと要約

本稿では、多様なコンテンツ、エンコーダー、ネットワークトレース、ABRアルゴリズム、デバイスをカバーする1,350本のリアルなストーリング動画を含む、適応ビットレート（ABR）動画ストリーミング向けに、公開済みで最大の主観的QoEデータベース「WaterlooSQoE-IV」を紹介する。本研究では、ABR性能の向上に向け、人間の知覚をよりよくモデル化することが、高度な最適化や機械学習手法の向上よりも重要であることが示された。

ABSTRACT

The diversity of video delivery pipeline poses a grand challenge to the evaluation of adaptive bitrate (ABR) streaming algorithms and objective quality-of-experience (QoE) models. Here we introduce so-far the largest subject-rated database of its kind, namely WaterlooSQoE-IV, consisting of 1350 adaptive streaming videos created from diverse source contents, video encoders, network traces, ABR algorithms, and viewing devices. We collect human opinions for each video with a series of carefully designed subjective experiments. Subsequent data analysis and testing/comparison of ABR algorithms and QoE models using the database lead to a series of novel observations and interesting findings, in terms of the effectiveness of subjective experiment methodologies, the interactions between user experience and source content, viewing device and encoder type, the heterogeneities in the bias and preference of user experiences, the behaviors of ABR algorithms, and the performance of objective QoE models. Most importantly, our results suggest that a better objective QoE model, or a better understanding of human perceptual experience and behaviour, is the most dominating factor in improving the performance of ABR algorithms, as opposed to advanced optimization frameworks, machine learning strategies or bandwidth predictors, where a majority of ABR research has been focused on in the past decade. On the other hand, our performance evaluation of 11 QoE models shows only a moderate correlation between state-of-the-art QoE models and subjective ratings, implying rooms for improvement in both QoE modeling and ABR algorithms. The database is made publicly available at: \url{https://ece.uwaterloo.ca/~zduanmu/waterloosqoe4/}.

研究の動機と目的

• ABRストリーミングアルゴリズムやQoEモデルを評価するための、大規模で多様かつ現実的な主観的QoEデータセットの不足を解消すること。
• ソースコンテンツ、エンコーディング、ネットワーク状態、視聴デバイス、ABRアルゴリズムの影響が、人間の主観的動画品質にどのように作用するかを調査すること。
• 11種類の客観的QoEモデルを主観的評価と比較し、一般化性および知覚的正確性における限界を同定すること。
• 長時間にわたるストリーミングテスト中に被験者の関与を維持できる主観的実験手法の有効性を検討すること。
• 高度な最適化フレームワークと改善されたQoEモデリングのどちらが、ABRアルゴリズムのパフォーマンス向上により大きな影響を与えるかを特定すること。

提案手法

• 5種類のソース動画、2種類のエンコーダー、9種類のネットワークトレース、5種類のABRアルゴリズム、3種類の視聴デバイス（スマートフォン、HDTV、UHDTV）を組み合わせることで、1,350本のABRストリーミング動画からなる大規模かつ多様なデータセットを構築した。
• すべての動画バリエーションに対して、人間の意見評価を収集するよう細心の注意を払って設計された実験を実施し、広範な主観的品質評価を実施した。
• 非線形回帰を用いて、客観的QoEスコアを主観的評価にマッピングし、モデルのパフォーマンスを統計的に比較可能とした。
• F統計量と仮説検定を用いて、QoEモデル間の予測残差分散の差の有意性を評価した。
• ビットレート中心型、VQAベース型、学習ベース型のモデルを含む11種類の客観的QoEモデルを、主観的評価と比較した。
• 中央極限定理を用いた統計的有意性分析により、50件以上のサンプルを用いたモデル比較の妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 ソースコンテンツ、エンコーディング、ネットワーク状態、視聴デバイスが、ABRストリーミングにおける主観的QoEにどのように相互作用するか。
• RQ2 実世界のストリーミング環境において、平均ビットレートのような従来の客観的指標が、人間の主観的QoEとどの程度相関しているか。
• RQ3 最先端の学習ベース型QoEモデルは、従来のモデルと比較して、多様なストリーミング環境においてどの程度一般化できるか。
• RQ4 全体的なユーザー体験向上に向け、改善されたQoEモデリングと高度なABRアルゴリズム設計の相対的な影響は何か。
• RQ5 長時間にわたるストリーミング評価において、被験者の注意を維持し、信頼性を保てる主観的実験手法を最適化できるか。

主な発見

• KSQIモデルは、WaterlooSQoE-IVデータセット上で最も優れたパフォーマンスを示し、他のすべての客観的QoEモデルを顕著に上回った。
• 最先端の学習ベース型QoEモデル（例：VideoATLASやP.1203）は、新しいデータセットでは線形のBentaleb2016モデルよりも劣った性能を示し、多様なストリーミング環境における一般化性の欠如が明らかになった。
• 客観的QoEモデルと主観的評価の間には僅かな相関しか示せず、知覚モデリングにおけるさらなる改善の余地が大きいことが浮き彫りになった。
• 本研究では、高度な最適化フレームワークや帯域幅予測器よりも、人間の視覚系（HVS）および知覚行動の理解を深めることが、ABRの改善により重要であると判明した。
• 再バッファリングと品質適応体験は、再生品質と顕著に相互作用しており、これら3要素（再バッファリング、品質適応、再生品質）を統合するモデル（例：KSQI）は著しく優れたパフォーマンスを示した。
• 統計的有意性検定により、KSQIが一貫して他のすべてのモデルを上回ることが確認され、すべての対比較で有意に優れていることが示された（p < 0.05）。