[論文レビュー] Which Adaptation Logic? An Objective and Subjective Performance Evaluation of HTTP-based Adaptive Media Streaming Systems

Christian Timmerer, Matteo Maiero+1 more|arXiv (Cornell University)|Jun 1, 2016

Image and Video Quality Assessment参考文献 3被引用数 23

ひとこと要約

本論文は、制御された客観的テストと現実世界の主観的クラウドソーシングの両方を用いて、10種類のHTTPベースの適応ストリーミング適応論理を評価している。品質体験（QoE）において、RBB（レートベースバッファ）アルゴリズムが最も優れたパフォーマンスを示し、動画品質と再バッファリングの低減の両面で他を上回り、実装および今後のアルゴリズム評価のベンチマークを提供する。

ABSTRACT

Multimedia content delivery over the Internet is predominantly using the Hypertext Transfer Protocol (HTTP) as its primary protocol and multiple proprietary solutions exits. The MPEG standard Dynamic Adaptive Streaming over HTTP (DASH) provides an interoperable solution and in recent years various adaptation logics/algorithms have been proposed. However, to the best of our knowledge, there is no comprehensive evaluation of the various logics/algorithms. Therefore, this paper provides a comprehensive evaluation of ten different adaptation logics/algorithms, which have been proposed in the past years. The evaluation is done both objectively and subjectively. The former is using a predefined bandwidth trajectory within a controlled environment and the latter is done in a real-world environment adopting crowdsourcing. The results shall provide insights about which strategy can be adopted in actual deployment scenarios. Additionally, the evaluation methodology described in this paper can be used to evaluate any other/new adaptation logic and to compare it directly with the results reported here.

研究の動機と目的

• HTTPベースの適応ストリーミングシステムで用いられる10種類の異なる適応論理の包括的かつ偏りのない評価を提供すること。
• 制御された客観的指標とクラウドソーシングを用いた現実世界の主観的ユーザー認識の両方を用いて、これらの論理のパフォーランスを比較すること。
• 品質体験（QoE）およびシステム効率に基づいて、実装に適した最も効果的な適応論理を特定すること。
• 今後の研究で新しいまたは既存の適応論理を、報告された結果と直接比較できる標準化された評価手法を確立すること。

提案手法

• 研究では、ラボ環境で事前に定義された制御された帯域幅トレースを用いて、動画品質や再バッファリングなどの主要パフォーマンス指標を測定する、客観的評価を実施している。
• 主観的評価は、現実世界の環境でクラウドソーシングを用いて実施され、ユーザーが動画品質と全体的な体験について評価を提供している。
• バッファベースからレートベース、ハイブリッドアプローチに至る10種類の異なる適応論理が、同一の条件下で実装およびテストされている。
• パフォーマンス指標には、平均動画品質（ビットレート単位）、再バッファリングイベント、およびユーザー調査からの平均意見スコア（MOS）が含まれる。
• 評価フレームワークは拡張可能に設計されており、将来のアルゴリズムが同じテスト条件および結果と比較可能である。

実験結果

リサーチクエスチョン

• RQ1 どの適応論理が動画品質と最小限の再バッファリングという点で最高の品質体験（QoE）を提供するか？
• RQ2 現実世界のストリーミングシナリオにおいて、客観的パフォーマンス指標と主観的ユーザー認識の間にはどのような相関関係があるか？
• RQ3 どの適応論理が変動するネットワーク環境およびユーザー環境においても最も一貫性を持って動作するか？
• RQ4 公平に新しいまたは既存の適応論理を比較できる標準化された評価手法を確立できるか？

主な発見

• RBB（レートベースバッファ）適応論理は、主観的テストで最高の平均意見スコア（MOS）を達成し、優れた認識される動画品質とユーザー満足度を示した。
• RBBは、すべてのテストされたネットワーク環境において、最小の再バッファリング比と最高の平均動画ビットレートを示した。
• 客観的評価では、RBBが再バッファリングを最小限に抑えながら最高の動画品質を維持していることが確認され、BBA や BOLA などの他の論理を上回った。
• 主観的結果から、高い平均ビットレートと高いMOSとの強い相関が示され、QoEにおけるビットレートの重要性が裏付けられた。
• 本研究の評価手法は、適応論理の直接的かつ公平な比較を可能にし、今後の研究のベンチマークとしての役割を果たしたことが実証された。