[论文解读] Adaptive Rate Allocation for View-Aware Point-Cloud Streaming

Mohammad Hosseini|arXiv (Cornell University)|Jan 1, 2017

Image and Video Quality Assessment参考文献 3被引用 5

一句话总结

本文提出了一种视图感知的自适应比特率分配启发式算法，用于多点云流媒体传输，该算法根据用户视点和深度动态分配比特率，在带宽约束下优化视觉质量。通过将问题建模为具有优先级类别的多选0-1背包问题，该方法在确保所有点云以不同质量级别传输的同时，实现接近最优的质量分布，从而在不增加带宽使用的情况下提升主观视觉质量。

ABSTRACT

In the context of view-dependent point-cloud streaming in a scene, our rate allocation is "adaptive" in the sense that it priorities the point-cloud models depending on the camera view and the visibility of the objects and their distance as described. The algorithm delivers higher bitrate to the point-cloud models which are inside user's viewport, more likely for the user to look at, or are closer to the view camera or, while delivers lower quality level to the point-cloud models outside of a user's immediate viewport or farther away from the camera. For that purpose, we hereby explain the rate allocation problem within the context of multi-point-cloud streaming where multiple point-cloud models are aimed to be streamed to the target device, and propose a rate allocation heuristic algorithm to enable the adaptations within this context. To the best of our knowledge, this is the first work to mathematically model, and propose a rate allocation heuristic algorithm within the context of point-cloud streaming.

研究动机与目标

• 解决在带宽受限条件下高效传输多个360°环境中的点云模型的挑战。
• 开发一种基于用户视角和距离优先级的比特率分配策略，以提升主观视觉质量。
• 通过根据优先级分配不同比特率，确保所有点云均被传输（与仅选择子集的方法不同），从而避免视觉内容缺失。
• 将问题形式化为具有质量与带宽约束的多选0-1背包问题（MCKP）。
• 设计一种低开销、实时的启发式算法，时间复杂度为O(n log n)，并生成接近最优的比特率分配结果。

提出的方法

• 将点云质量建模为优先级（pτh）与比特率（sτh）的乘积，其中优先级由视点和距离决定。
• 按全局优先级（C1至C3）从高到低对所有点云进行排序，以实现按顺序的比特率分配。
• 将所有点云初始化为最低比特率（RL），并计算最小所需比特率Wmin，以及剩余预算W0 = W − Wmin。
• 按优先级从高到低迭代提升每个点云的比特率，直至达到最高可能级别，只要带宽允许。
• 当某个点云无法升至最高比特率时，利用剩余预算确定其最高可行表示级别L′。
• 采用一种贪心的一次性启发式方法，按优先级降序分配比特率，确保在保持低计算开销的同时，最大限度利用剩余带宽。

实验结果

研究问题

• RQ1 如何基于摄像机视点和深度对点云流媒体进行优化，以优先处理用户可见的内容？
• RQ2 在有限带宽下，如何最有效地在多个点云模型之间分配资源，以最大化主观视觉质量？
• RQ3 启发式算法是否能在实时环境下实现接近最优的比特率分配，同时确保所有点云均被传输？
• RQ4 多选0-1背包问题的建模方式相比传统0-1背包方法，在点云流媒体中有哪些改进？
• RQ5 在视图感知流媒体中，比特率分配、计算成本与质量增益之间存在哪些权衡？

主要发现

• 所提出的启发式算法实现了接近最优的比特率分配，其近似误差取决于首个无法升级的点云的最高可行比特率与剩余带宽之间的差距。
• 该算法的时间复杂度为O(n log n)，空间复杂度为O(n)，适合低运行时开销的实时部署。
• 通过为所有点云分配不同比特率而非仅选择子集，该方法确保无视觉内容被遗漏，从而提升用户体验。
• 每个点云的质量贡献被建模为qxi = pxi × sxi，从而实现基于可见性和距离的动态优先级排序。
• 该算法成功在所有点云之间均衡带宽使用，优先级最高的模型在预算约束下获得最高比特率。
• 该方法可推广至任意数量的优先级类别和资源类型（如能量、CPU），展现出超越带宽受限场景的灵活性。