[论文解读] Learning in situ: a randomized experiment in video streaming

Francis Y. Yan, Hudson Ayers+6 more|arXiv (Cornell University)|Jun 3, 2019

Image and Video Quality Assessment参考文献 43被引用 39

一句话总结

论文报道了在现实世界视频流平台（Puffer）上的ABR算法随机对照试验，结果表明基于学习预测器的MPC（Fugu）可以优于传统方案，但总体增益高度可变且由于重尾网络行为而难以检测；它倡导就地训练与开放数据以实现鲁棒的学习型ABR。

ABSTRACT

We describe the results of a randomized controlled trial of video-streaming algorithms for bitrate selection and network prediction. Over the last eight months, we have streamed 14.2 years of video to 56,000 users across the Internet. Sessions are randomized in blinded fashion among algorithms, and client telemetry is recorded for analysis. We found that in this real-world setting, it is difficult for sophisticated or machine-learned control schemes to outperform a "simple" scheme (buffer-based control), notwithstanding good performance in network emulators or simulators. We performed a statistical analysis and found that the variability and heavy-tailed nature of network and algorithm behavior create hurdles for robust learned algorithms in this area. We developed an ABR algorithm that robustly outperforms other schemes in practice, by combining classical control with a learned network predictor, trained with supervised learning in situ on data from the real deployment environment. To support further investigation, we are publishing an archive of traces and results each day, and will open our ongoing study to the community. We welcome other researchers to use this platform to develop and validate new algorithms for bitrate selection, network prediction, and congestion control.

研究动机与目标

• 评估在真实互联网条件下学习型ABR算法的鲁棒性。
• 将传统基于缓冲区的控制与模型预测控制方案与学习方法进行比较。
• 评估训练数据真实度对ABR性能的影响。
• 开发就地训练的ABR算法，在实践中能够超越基线。
• 推动trace的开放共享并使社区能够进行验证。

提出的方法

• 部署Puffer，一个实时流平台，为56k用户流式传输14.2年的视频，会话随机分配给不同的ABR算法。
• 在服务器端ABR控制循环中实现并比较BBA、MPC-HM、RobustMPC-HM、Pensieve和Fugu。
• 使用基于SSIM的目标函数和为期7个月的盲化随机试验来评估阻塞率、SSIM、SSIM变异和现场时长。
• Fugu 将MPC与在真实部署数据上就地训练的神经网络传输时间预测器结合。
• TTP 将传输时间预测为对区块大小的分布，使用Puffer追踪数据进行每日监督学习训练。
• 消融研究显示 TTP 输入、概率输出以及神经网络对 Fugu 性能的必要性。

实验结果

研究问题

• RQ1 学习型ABR方法在真实互联网部署中是否能显著超越简单的基于缓冲区的控制？
• RQ2 与仿真或模拟结果相比，真实世界数据的变异性如何影响学习型ABR方案的可靠性？
• RQ3 在MPC框架内对神经预测器进行就地训练，是否能在多样化的网络路径中获得稳健的收益？
• RQ4 在实际中，哪种控制理论与数据驱动预测的组合能实现最佳的QoE指标（停顿、SSIM及SSIM变异）？

主要发现

• 在为期七个月、盲法的458,801条流的试验中，Fugu在停顿比率、SSIM和SSIM变异方面优于其他方案，唯一例外是RobustMPC-HM。
• 使用Fugu的用户在会话超过2.5小时时，平均观看时长比其他方案多出10–20%。
• 在各方案中，Fugu的停顿时间最低（0.12%），与其他相比相当或更好（MPC-HM 0.25%，BBA 0.19%，Pensieve 0.17%，RobustMPC-HM 0.10%）。
• 平均SSIM最高的是Fugu（16.9 dB），不同方案间有所差异（RobustMPC-HM 16.2 dB，Pensieve 16.5 dB）。
• 基于MPC/RobustMPC的方案使用传统预测器，而Fugu的TTP提供了概率性、按大小感知的传输时间预测，从而带来更好的QoE。
• 研究强调由于网络行为的重尾特性所带来的显著统计不确定性，需大量样本才能检测到适度的增益。