[論文レビュー] Evaluation of the Performance of Adaptive HTTP Streaming Systems

Anatoliy Zabrovskiy, Evgeny Petrov+2 more|arXiv (Cornell University)|Oct 6, 2017

Image and Video Quality Assessment参考文献 15被引用数 8

ひとこと要約

本稿では、制御されたネットワーク環境下で適応型HTML5ビデオプレーヤーをベンチマーク化するための標準化・自動化された評価フレームワークを提案する。MPEG-DASHストリームを用い、変動するネットワークダイナミクスとコンテンツ表現を想定した条件下で8つの実世界のプレーヤーを評価した結果、特にストール頻度、品質切り替え、帯域幅効率の面で顕著な性能差が明らかになった。特に、ストールを最小限に抑え、適応を最適化する点でBitmovinプレーヤーが優れた性能を示した。

ABSTRACT

Adaptive video streaming over HTTP is becoming omnipresent in our daily life. In the past, dozens of research papers have proposed novel approaches to address different aspects of adaptive streaming and a decent amount of player implementations (commercial and open source) are available. However, state of the art evaluations are sometimes superficial as many proposals only investigate a certain aspect of the problem or focus on a specific platform - player implementations used in actual services are rarely considered. HTML5 is now available on many platforms and foster the deployment of adaptive media streaming applications. We propose a common evaluation framework for adaptive HTML5 players and demonstrate its applicability by evaluating eight different players which are actually deployed in real-world services.

研究の動機と目的

• 実世界の展開における適応型HTTPストリーミングプレーヤーの包括的で標準化された評価ツールの不足に対処すること。
• 制御されたネットワーク条件下で、適応型HTML5プレーヤーの性能を自動的かつ繰り返し可能なフレームワークとして開発すること。
• 品質適応、ストール頻度、帯域幅利用効率の観点から、8つの広く展開されている商用およびオープンソースのHTML5プレーヤーの挙動を比較すること。
• 特にネットワーク状態の変動や異なるコンテンツ表現セット下での、プレーヤー間のレート適応ロジックの主な性能差を特定すること。
• ネットワーク状態およびクライアント状態に基づく動的適応戦略の改善に役立つ実用的知見を提供すること。

提案手法

• Webサーバ、ネットワークエミュレーションサーバ、Seleniumサーバ、Webマネージメントインターフェースを用いたモジュール型の評価フレームワークを設計・実装し、プレーヤーのテストを自動化する。
• Webサーバ上に複数の表現（ビットレート/解像度）を持つMPEG-DASHコンテンツをホスティングし、等長のチャンクに分割することで、セグメント境界での動的適応を可能にする。
• Linux tcとNetemを用いたネットワークエミュレーションにより、実際の帯域幅の変動や変動するネットワーク状態を複数のテストシナリオで再現する。
• Bitmovin、JW Player、Shaka Player、dash.jsなど8つの実世界の適応型HTML5プレーヤーを、標準化されたAPIを介してフレームワークに統合し、Seleniumによる自動制御を実施する。
• 実験の実行を自動化し、ストール、品質切り替え、バッファレベル、ダウンロードビットレートなどのパフォーマンスメトリクスをログ記録し、MySQLデータベースに保存して分析を可能にする。
• 同一のネットワーク条件下で、FullHD（5つの表現）とAmazon（10つの表現）の2つのコンテンツプロファイルに対して制御された実験を実施し、プレーヤー間の比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 帯域幅が変動する同一のネットワーク条件下で、異なる適応型HTML5プレーヤーはどのように性能を発揮するか？
• RQ2 利用可能な表現数（ビットレート/解像度レベル）の増加が、再生品質、ストール頻度、適応のなめらかさに与える影響は何か？
• RQ3 プレーヤーは、品質切り替え頻度と帯域幅利用効率の観点から、レート適応ロジックでどのように異なるか？
• RQ4 ストールを最小限に抑え、高い動画品質を維持する観点で、どのプレーヤーが最も安定的かつ効率的な適応行動を示したか？
• RQ5 実世界のプレーヤー実装は、理想の適応行動からどの程度逸脱しているか？その逸脱はユーザー体験にどのように影響するか？

主な発見

• Bitmovinプレーヤーは、すべてのプロファイルで最小の合計ストール時間（20秒未塔）を達成し、特にFullHDプロファイルでは他プレーヤーが20秒を超えるストール時間を記録したのと比べて顕著に優れた性能を示した。
• FullHDプロファイルでは、Bitmovin、JW Player、Shaka Playerを除くすべてのプレーヤーが20秒以上の合計ストール時間を記録し、帯域幅の変動下での性能が著しく低いことが示された。
• Amazonプロファイル（10の表現）では、FullHDプロファイル（5の表現）と比較して、品質切り替え回数が2倍に増加しており、より多くの表現が利用可能になると適応活動が活発化することがうかがえる。
• JW Playerは非常に低い品質切り替え回数を示したが、同時に最も低いダウンロードビデオビットレートを記録しており、帯域幅の利用効率が低く、動画品質の低減が懸念される。
• Shaka PlayerとJW Playerは、Amazonプロファイルにおいて著しく低い有効ダウンロードビットレートを示し、利用可能な高品質表現が存在しても、その恩恵を十分に受けていない高い非効率性を示した。
• Bitmovinプレーヤーは、最大40秒の高い動画バッファレベルを維持しており、ストールを回避するための慎重な戦略を採用しているが、これは起動時間やメモリ使用量に影響を及える可能性がある。