[论文解读] Joint Communication and Computational Resource Allocation for QoE-driven Point Cloud Video Streaming

Jie Li, Cong Zhang+3 more|arXiv (Cornell University)|Jan 6, 2020

Computer Graphics and Visualization Techniques参考文献 15被引用 6

一句话总结

本文提出了一种面向6DoF沉浸式VR/AR应用的点云视频流媒体QoE驱动的通信与计算资源联合分配方案，通过优化质量层级选择（包括未压缩图块）以在带宽和处理能力约束下最大化用户QoE。该方案采用两阶段优化——对连续变量使用KKT条件，对整数决策使用分支定界法，相比传统仅压缩传输方案，实现了更高的QoE和更优的资源利用率。

ABSTRACT

Point cloud video is the most popular representation of hologram, which is the medium to precedent natural content in VR/AR/MR and is expected to be the next generation video. Point cloud video system provides users immersive viewing experience with six degrees of freedom and has wide applications in many fields such as online education, entertainment. To further enhance these applications, point cloud video streaming is in critical demand. The inherent challenges lie in the large size by the necessity of recording the three-dimensional coordinates besides color information, and the associated high computation complexity of encoding. To this end, this paper proposes a communication and computation resource allocation scheme for QoE-driven point cloud video streaming. In particular, we maximize system resource utilization by selecting different quantities, transmission forms and quality level tiles to maximize the quality of experience. Extensive simulations are conducted and the simulation results show the superior performance over the existing schemes

研究动机与目标

• 解决6DoF沉浸式VR/AR应用中点云视频流媒体带来的高带宽与高计算需求挑战。
• 克服现有方案忽略解码延迟与计算资源约束的局限性。
• 通过联合优化通信与计算资源分配，最大化用户体验质量（QoE）。
• 引入不同质量层级的未压缩图块作为降低解码延迟的可行替代方案。
• 设计一种实用框架，在真实资源约束下平衡传输效率与播放质量。

提出的方法

• 将点云视频划分为3D空间图块，并以多个质量层级对每个图块进行编码。
• 将问题建模为非线性整数规划模型，以在通信与计算资源约束下最大化QoE。
• 应用Karush-Kuhn-Tucker（KKT）条件求解优化问题的连续松弛问题。
• 使用分支定界法求解表示质量层级选择的整数变量的次优解。
• 在优化中同时纳入压缩图块与未压缩图块（解码延迟为零）作为决策变量。
• 在不同计算资源（核心数）与通信资源（带宽）条件下对系统进行仿真，以评估性能。

实验结果

研究问题

• RQ1 如何联合分配通信与计算资源，以在点云视频流媒体中最大化QoE？
• RQ2 与仅使用压缩图块相比，引入未压缩图块（无解码延迟）对系统性能与QoE有何影响？
• RQ3 在6DoF点云流媒体中，传输延迟与解码延迟之间的权衡如何影响整体用户体验？
• RQ4 通过根据可用带宽与处理能力智能选择质量层级，系统资源利用率可提升到何种程度？
• RQ5 与传统仅压缩传输方案相比，所提方案在QoE与资源效率方面表现如何？

主要发现

• 所提方案相比传统仅压缩传输方案实现了显著更高的QoE，尤其在计算资源受限时表现更优。
• 当计算资源稀缺（如移动设备）时，该方案利用未压缩图块的能力显著提升了QoE，优于基线方法。
• 在高带宽条件下，系统优先传输更高品质的压缩图块；而在高计算能力条件下，则更倾向于传输更多压缩图块以提升资源利用率。
• 系统资源利用率（以计算与通信使用量的平衡衡量）在所提方案中始终高于传统方法。
• 在所有测试配置下（如2、4、6核；54–104 Mbps带宽），当资源允许时，所提方案能传输更多高质量图块（R5），展现出对资源可用性的有效适应能力。
• 仿真结果证实，通信与计算资源的联合优化可实现点云视频流媒体中质量、延迟与资源效率的更优平衡。