[論文レビュー] A Knowledge-Driven Quality-of-Experience Model for Adaptive Streaming Videos

Zhengfang Duanmu, Wentao Liu+5 more|arXiv (Cornell University)|Nov 18, 2019

Image and Video Quality Assessment参考文献 62被引用数 12

ひとこと要約

本稿では、人間の視覚系（HVS）の事前知識と限定的な主観的データを制約付き最適化によって統合する、知識駆動型の客観的体験品質（QoE）モデルであるKSQIを提案する。QoE関数を知覚的制約から導出された凸集合内にモデル化することで、多様なストリーミング環境およびベンチマークデータセットにおいて、既存の学習ベースのモデルを上回る最先端の一般化性能を達成する。

ABSTRACT

The fundamental conflict between the enormous space of adaptive streaming videos and the limited capacity for subjective experiment casts significant challenges to objective Quality-of-Experience (QoE) prediction. Existing objective QoE models exhibit complex functional form, failing to generalize well in diverse streaming environments. In this study, we propose an objective QoE model namely knowledge-driven streaming quality index (KSQI) to integrate prior knowledge on the human visual system and human annotated data in a principled way. By analyzing the subjective characteristics towards streaming videos from a corpus of subjective studies, we show that a family of QoE functions lies in a convex set. Using a variant of projected gradient descent, we optimize the objective QoE model over a database of training videos. The proposed KSQI demonstrates strong generalizability to diverse streaming environments, evident by state-of-the-art performance on four publicly available benchmark datasets.

研究の動機と目的

• 適応型動画ストリーミングにおける既存の客観的QoEモデルが直面する、主観的QoEデータの不足と一般化性能の低さという課題に対処すること。
• 人間の視覚系（HVS）の事前知識を一貫した方法で統合し、QoE関数の学習を正則化すること。
• 多様な動画コンテンツ、エンコーディング設定、ネットワーク状態、デバイスにおいて優れた性能を発揮する、堅牢で一般化可能なQoEモデルを開発すること。
• 知覚的制約をモデルに埋め込むことで、ストリーミング動画品質評価における分布シフトおよびコンセプトドリフト問題を克服すること。
• 時間の経過とともに新たなHVS知識や特徴を統合できるスケーラブルで拡張可能なQoEモデリングフレームワークを提供すること。

提案手法

• 本手法は、動画品質および再バッファリング特徴に基づく非パラメトリックモデルを用いて、QoE予測を制約付き最適化問題として定式化する。
• HVSの特性から導かれる超平面と正の錐の交差によって形成される凸集合内に、有効なQoE関数の族をモデル化する。
• 主観的実験から導かれた線形不等式制約の下で、QoE関数を最適化するために、投影勾配降下法の変種を用いる。
• 制約は、動画品質および再バッファリングに関してQoEの単調性や有界性といった観察された知覚的行動から導出される。
• 入力特徴として、動画品質（例：VMAF）、再バッファリング時間、適応の大きさを用い、離散化のためにビニング処理を施す。
• 正則化パラメータλは、主観的データへの忠実度とQoE関数の滑らかさのバランスをとる。実験ではλの変動に対しても頑健であることが示された。

実験結果

リサーチクエスチョン

• RQ1 人間の視覚系（HVS）に関する事前知識を、多様なストリーミング条件における一般化性能の向上に向け、体系的に客観的QoEモデルに統合できるか？
• RQ2 知覚的制約をどのように数学的に形式化することで、有効なQoE関数の凸集合を定義できるか？
• RQ3 QoE評価において一般的な低データ環境において、知識ベースの正則化が純粋にデータ駆動の学習を上回るか？
• RQ4 個々の知覚的制約がモデル性能にどの程度寄与するか、およびそれらがどのように相互作用するか？
• RQ5 本モデルは、ビンサイズや正則化強度λといったハイパーパrameterに対してどの程度感度を示すか？

主な発見

• KSQIは、4つの公開ベンチマークデータセットにおいて、他のすべてのモデルを上回る最先端の性能を達成し、対比較の統計的有意性を示した。
• モデルは強力な一般化性能を示し、LIVE-NFLX-II や WaterlooSQoE-III のように、訓練セットとは異なるデータセットでも高い精度を維持した。
• 適用された知覚的制約の数が増えるほど性能が向上し、QoE関数の正則化としての有効性が確認された。
• 動画品質に関するQoEの単調性（制約3）に関連する制約は、データセットごとに影響が異なることが示され、文脈依存性の有効性が示唆された。
• KSQIはビンサイズ（5～20ビン）および正則化パラメータλの変動に対して頑健であり、ハイパーパrameter設定の変化に対しても安定性を示した。
• VMAFを動画品質指標として用いることで最良の性能が得られ、モデル内での知覚的表現としてのVMAFの優位性が裏付けられた。