[论文解读] A Robust Algorithm for Tile-based 360-degree Video Streaming with Uncertain FoV Estimation

Arnob Ghosh, Vaneet Aggarwal+1 more|arXiv (Cornell University)|Nov 30, 2018

Video Coding and Compression Technologies参考文献 22被引用 6

一句话总结

本文提出 360-ROBUST，一种用于基于图块的 360 度视频流媒体的鲁棒随机优化算法，在带宽不确定和头部运动不确定的情况下最大化用户体验质量（QoE）。通过利用众包获取的观看概率并构建非凸随机优化问题，该算法采用具有有界最优性差距的松弛凸解，动态调整流媒体速率，在使用真实用户轨迹的仿真环境中，相比基线方法实现 30% 更高的 QoE 和 50% 更高的流媒体速率。

ABSTRACT

We propose a robust scheme for streaming 360-degree immersive videos to maximize the quality of experience (QoE). Our streaming approach introduces a holistic analytical framework built upon the formal method of stochastic optimization. We propose a robust algorithm which provides a streaming rate such that the video quality degrades below that rate with very low probability even in presence of uncertain head movement, and bandwidth. It assumes the knowledge of the viewing probability of different portions (tiles) of a panoramic scene. Such probabilities can be easily derived from crowdsourced measurements performed by 360 video content providers. We then propose efficient methods to solve the problem at runtime while achieving a bounded optimality gap (in terms of the QoE). We implemented our proposed approaches using emulation. Using real users' head movement traces and real cellular bandwidth traces, we show that our algorithms significantly outperform the baseline algorithms by at least in $30\%$ in the QoE metric. Our algorithm gives a streaming rate which is $50\%$ higher compared to the baseline algorithms when the prediction error is high.

研究动机与目标

• 解决缺乏鲁棒且带宽高效的 360 度视频流媒体算法的问题，这些算法需考虑带宽波动和用户头部运动的不确定性。
• 开发一个整体的分析框架，联合优化基于图块的 360 度视频流媒体中的流媒体速率、各分段的质量变化以及卡顿时间。
• 提供一种具有有界最优性差距的解决方案，确保在不确定性下仍能实现高质量播放，最大程度减少 QoE 的下降。
• 通过在线、低开销的算法设计实现实时适应动态带宽和 FoV 变化。
• 在仿真环境中，使用真实用户头部运动和蜂窝网络带宽轨迹，实证验证该算法的优越性。

提出的方法

• 构建一个鲁棒随机优化问题，以高概率最大化最小流媒体速率，同时最小化卡顿时间和各分段间的速率变化。
• 利用众包测量获得的观看概率和 FoV 预测结果，对图块重要性进行建模并优先传输。
• 将原始的非凸问题松弛为凸问题，以实现高效求解，随后将松弛解映射回原始问题的可行解。
• 引入基于窗口的在线自适应机制（窗口大小为 W），以平衡速率分配决策中的保守性与贪婪性。
• 采用有界最优性差距的证明，确保即使在离散、非凸的策略空间中，解也接近最优。
• 在仿真框架中实现该算法，使用真实 TCP/IP 传输、合成图块和真实的蜂窝网络轨迹进行评估。

实验结果

研究问题

• RQ1 如何在带宽不确定和用户头部运动不可预测的情况下，使 360 度视频流媒体算法鲁棒地维持高 QoE？
• RQ2 在基于图块的 360 度视频传输中，流媒体速率、质量一致性与卡顿时间之间的最优权衡是什么？
• RQ3 如何将随机优化应用于非凸、离散的策略空间，以确保性能损失有界？
• RQ4 与启发式或贪婪方法相比，众包获取的观看概率能在多大程度上提升流媒体效率？
• RQ5 窗口大小以及带宽或 FoV 预测误差对流媒体算法鲁棒性和性能的影响如何？

主要发现

• 所提出的 360-ROBUST 算法在所有评估的用户轨迹中，相比基线算法，QoE 至少提升 30%。
• 该算法实现的流媒体速率比基线方法高出 50%，显著减少了卡顿和质量波动。
• 当窗口大小为 W=5 时，算法达到最优性能，平衡了速率分配中的贪婪性与保守性。
• 即使在高预测误差下，该算法仍保持高性能：随着带宽或 FoV 预测误差增加，QoE 仅轻微下降。
• 与基线算法相比，卡顿时间最多减少 35%，尤其在使用非贪婪策略（如 BA1）时效果更明显。
• 有界最优性差距确保了解在存在离散、非凸决策变量的情况下，仍接近理论最优解。