[论文解读] A Rate Adaptation Algorithm for Tile-based 360-degree Video Streaming

Arnob Ghosh, Vaneet Aggarwal+1 more|arXiv (Cornell University)|Apr 26, 2017

Image and Video Quality Assessment参考文献 13被引用 39

一句话总结

本文提出了一种用于基于图块的360度视频流媒体的新型码率自适应算法，该算法根据预测的用户观看方向（视场角，FoV）和带宽可用性，动态调整单个视频图块的质量。通过联合优化空间（图块选择）和时间（码率自适应）维度，采用凸松弛和随机优化方法，该算法在实际假设条件下实现了理论最优性保证，与基线方法相比，用户QoE至少提升了20%。

ABSTRACT

In the 360-degree immersive video, a user only views a part of the entire raw video frame based on her viewing direction. However, today's 360-degree video players always fetch the entire panoramic view regardless of users' head movement, leading to significant bandwidth waste that can be potentially avoided. In this paper, we propose a novel adaptive streaming scheme for 360-degree videos. The basic idea is to fetch the invisible portion of a video at the lowest quality based on users' head movement prediction and to adaptively decide the video playback quality for the visible portion based on bandwidth prediction. Doing both in a robust manner requires overcome a series of challenges, such as jointly considering the spatial and temporal domains, tolerating prediction errors, and achieving low complexity. To overcome these challenges, we first define quality of experience (QoE) metrics for adaptive 360-degree video streaming. We then formulate an optimization problem and solve it at a low complexity. The algorithm strategically leverages both future bandwidth and the distribution of users' head positions to determine the quality level of each tile (i.e., a sub-area of a raw frame). We further provide theoretical proof showing that our algorithm achieves optimality under practical assumptions. Numerical results show that our proposed algorithms significantly boost the user QoE by at least 20\% compared to baseline algorithms.

研究动机与目标

• 为解决当前360度视频流媒体效率低下的问题，即无论用户观看方向如何，均以统一质量下载整个全景数据块，导致显著的带宽浪费。
• 通过联合优化空间（视场角，FoV）和时间（带宽）域中的图块选择与码率自适应，最大化用户体验质量（QoE）。
• 设计一种低复杂度、鲁棒的算法，考虑视场角和带宽预测误差的影响，确保在不确定性条件下保持一致的播放质量。
• 正式定义360度视频流媒体的QoE度量标准，同时纳入视场角内图块的平均码率和最小保证码率以提升鲁棒性。
• 在现实假设下，为所提算法提供理论最优性证明，包括随机带宽和视场角预测误差。

提出的方法

• 作者定义了一个复合QoE度量，结合可见图块的平均播放码率和其中的最小码率，并对最小码率提供概率保证。
• 将最大化QoE的非凸优化问题在带宽和视场角预测约束下进行公式化，然后通过离散码率变量的连续松弛方法将其转化为凸问题。
• 该算法使用随机优化方法处理未来带宽和用户视场角分布的不确定性，通过概率框架对预测误差进行建模。
• 提出了两种算法：算法1采用凸松弛方法，而算法3在所定义的QoE度量下被证明是最优的，使用对偶性和拉格朗日松弛技术进行证明。
• 解决方案包括预先将360度视频分割为图块，并根据预测的头部运动和网络状况，动态选择下载哪些图块及其质量等级。
• 该方法利用历史头部运动数据和实时带宽估计来指导图块获取决策，最大限度减少卡顿并确保质量一致性。

实验结果

研究问题

• RQ1 如何通过利用用户观看方向的空间感知，使360度视频流媒体更加带宽高效？
• RQ2 一个有效的360度视频QoE度量标准应如何设计，以同时考虑视场角内图块的平均质量和最低质量？
• RQ3 在预测不确定性下，如何联合优化空间（图块选择）和时间（时间上的码率）维度的码率自适应？
• RQ4 在带宽和视场角预测误差存在的情况下，低复杂度算法能否实现接近最优的QoE性能？
• RQ5 在预测误差和资源约束的现实假设下，所提算法的理论性能保证是什么？

主要发现

• 所提算法（算法3）在数值评估中，与基线和贪婪算法相比，用户QoE至少提升了20%。
• 即使在高视场角预测不确定性（β = 0.6）下，算法3在保证最小码率（概率为α）方面也比基线高出25%以上。
• 在高带宽预测误差（p = 0.25）条件下，当不确定性增加时，该算法会减少高质量图块的获取数量，从而最小化卡顿时间并提升鲁棒性。
• 下载图块比特率的分布显示，算法1和算法3均优先以更高质量获取高概率视场角图块，同时尽量减少对低概率图块的浪费。
• 在不确定性增加时（视场角预测误差较低，β较小），算法3由于对最小码率提供了概率保证，相比算法1能实现更高的质量一致性。
• 基线算法（所有图块以相同质量下载）在不确定性增加时无改善表现，而所提算法则能自适应调整质量与图块选择，以维持QoE。