[論文レビュー] Learning in situ: a randomized experiment in video streaming

Francis Y. Yan, Hudson Ayers+6 more|arXiv (Cornell University)|Jun 3, 2019

Image and Video Quality Assessment参考文献 43被引用数 39

ひとこと要約

本論文は実世界のビデオ配信プラットフォーム（Puffer）におけるABRアルゴリズムのランダム化対照試験を報告し、学習済みの予測子ベースのMPC（Fugu）が従来の方式を上回り得ることを示す一方で、全体の改善は非常にばらつきが大きく、ヘビーテールなネットワーク挙動のため検出が難しい；頑健な学習ABRのためには現場でのトレーニングとオープンデータを提唱している。

ABSTRACT

We describe the results of a randomized controlled trial of video-streaming algorithms for bitrate selection and network prediction. Over the last eight months, we have streamed 14.2 years of video to 56,000 users across the Internet. Sessions are randomized in blinded fashion among algorithms, and client telemetry is recorded for analysis. We found that in this real-world setting, it is difficult for sophisticated or machine-learned control schemes to outperform a "simple" scheme (buffer-based control), notwithstanding good performance in network emulators or simulators. We performed a statistical analysis and found that the variability and heavy-tailed nature of network and algorithm behavior create hurdles for robust learned algorithms in this area. We developed an ABR algorithm that robustly outperforms other schemes in practice, by combining classical control with a learned network predictor, trained with supervised learning in situ on data from the real deployment environment. To support further investigation, we are publishing an archive of traces and results each day, and will open our ongoing study to the community. We welcome other researchers to use this platform to develop and validate new algorithms for bitrate selection, network prediction, and congestion control.

研究の動機と目的

• 実世界のインターネット環境における学習済みABRアルゴリズムの頑健性を評価する。
• 従来のバッファベースおよびモデル予測制御（MPC）スキームと学習アプローチを比較する。
• ABR性能に対するトレーニングデータの現実性の影響を評価する。
• 現場で訓練されたABRアルゴリズムを開発し、実務でベースラインを上回ることができるようにする。
• トレースのオープン共有を促進し、コミュニティによる検証を可能にする。

提案手法

• Pufferをデプロイし、ライブストリーミングプラットフォームとして56kユーザーに14.2年分の動画を配信、セッションはABRアルゴリズムにランダムに割り当てられる。
• サーバーサイドのABR制御ループで、BBA、MPC-HM、RobustMPC-HM、Pensieve、およびFuguを実装・比較する。
• SSIMベースの目的関数と7-month blinded randomized trialを用いて、スタール比、SSIM、SSIMのばらつき、現場での滞在時間を評価する。
• Fuguは、現場の実デプロイデータで訓練されたニューラルネットワーク型Transmission Time PredictorとMPCを組み合わせる。
• TTPはチャンクサイズの分布として伝送時間を予測し、Pufferのトレースからの教師あり学習を用いて日次で訓練される。
• アブレーション研究は、Fuguの性能にはTTP入力、確率的出力、およびニューラルネットワークが必要であることを示している。

実験結果

リサーチクエスチョン

• RQ1 学習済みABRアプローチは、現実のインターネット展開で単純なバッファベース制御を意味のあるレベルで上回ることができるか。
• RQ2 現実世界のデータのばらつきは、エミュレーションやシミュレーション結果と比較して学習ABRスキームの信頼性にどのような影響を与えるか。
• RQ3 MPCフレームワーク内でのニューラル予測子の現場訓練は、多様なネットワーク経路で堅牢な利得をもたらすか。
• RQ4 実践で最良のQoE指標（スタール、SSIM、SSIMのばらつき）をもたらす、制御理論とデータ駆動予測の組み合わせは何か。

主な発見

Algorithm	Time stalled (lower is better)	Mean SSIM (higher is better)	SSIM variation (lower is better)	Mean duration (time on site)
Fugu	0.12%	16.9 dB	0.68 dB	32.6 min
MPC-HM	0.25%	16.8 dB	0.72 dB	27.9 min
BBA	0.19%	16.8 dB	1.03 dB	29.6 min
Pensieve	0.17%	16.5 dB	0.97 dB	28.5 min
RobustMPC-HM	0.10%	16.2 dB	0.90 dB	27.4 min

• 458,801のストリームを対象としたブラインド7-month試験で、Fuguはスタール比、SSIM、SSIMのばらつきで他のスキームを上回ったが、例外が一つあった（RobustMPC-HM）。
• Fuguにランダムに割り当てられたユーザーは、2.5時間を超えるセッションで平均してストリームを10–20%長く視聴した。
• 全スキームで、Fuguのスタール時間が最も低く（0.12%）、他と同等またはそれより良い値であった（MPC-HM 0.25%、BBA 0.19%、Pensieve 0.17%、RobustMPC-HM 0.10%）。
• 平均SSIMはFuguが最も高く16.9 dBで、スキーム間でばらつきがあり（RobustMPC-HM 16.2 dB、Pensieve 16.5 dB）。
• MPC/RobustMPCベースのスキームは従来の予測子を使用していたのに対し、FuguのTTPは確率的でサイズを考慮した伝送時間予測を提供し、QoEを向上させた。
• 本研究は、ヘビーテールなネットワーク挙動に起因する重大な統計的不確実性を浮き彫りにし、控えめな利得を検出するには大規模なサンプルが必要であることを指摘している。