[论文解读] Traffic Characteristics of Extended Reality

Abdullah M. Alnajim, Seyedmohammad Salehi+2 more|arXiv (Cornell University)|Apr 16, 2023

Image and Video Quality Assessment被引用 5

一句话总结

本教程论文通过评估两种VR体验——实际的Oculus Quest 2用例与理想的类眼VR体验——分析了扩展现实（XR）应用的严格流量需求，包括高容量、超低延迟和超高可靠性。论文识别出关键性能目标（例如，运动到光子延迟≤69 ms，分组丢失率≤7.2×10⁻⁶），并回顾了在缓存、计算和通信方面以满足这些需求的优化技术，强调Wi-Fi 7和边缘计算是未来XR可扩展性与性能的关键推动者。

ABSTRACT

This tutorial paper analyzes the traffic characteristics of immersive experiences with extended reality (XR) technologies, including Augmented reality (AR), virtual reality (VR), and mixed reality (MR). The current trend in XR applications is to offload the computation and rendering to an external server and use wireless communications between the XR head-mounted display (HMD) and the access points. This paradigm becomes essential owing to (1) its high flexibility (in terms of user mobility) compared to remote rendering through a wired connection, and (2) the high computing power available on the server compared to local rendering (on HMD). The requirements to facilitate a pleasant XR experience are analyzed in three aspects: capacity (throughput), latency, and reliability. For capacity, two VR experiences are analyzed: a human eye-like experience and an experience with the Oculus Quest 2 HMD. For latency, the key components of the motion-to-photon (MTP) delay are discussed. For reliability, the maximum packet loss rate (or the minimum packet delivery rate) is studied for different XR scenarios. Specifically, the paper reviews optimization techniques that were proposed to reduce the latency, conserve the bandwidth, extend the scalability, and/or increase the reliability to satisfy the stringent requirements of the emerging XR applications.

研究动机与目标

• 分析在无线网络约束下，沉浸式XR应用（包括VR、AR和MR）的端到端流量特性。
• 通过量化两种代表性XR体验的严格QoS需求（吞吐量、延迟和可靠性）来实现目标：一种是实际的Oculus Quest 2部署，另一种是理想的类眼VR体验。
• 识别并分类在缓存、计算和通信（C3）方面可降低延迟、节省带宽并提升XR工作负载可靠性的优化技术。
• 评估新兴技术（如Wi-Fi 7（802.11be）、边缘计算和多接入策略）在满足未来XR需求方面的作用。

提出的方法

• 分析两种VR体验：一种是基于Oculus Quest 2的实际实现，另一种是理论上的理想类眼VR，采用真实参数如分辨率、刷新率和编码标准（H.265）。
• 使用公式计算所需比特率：比特率 = （水平分辨率 × 垂直分辨率 × 色深 × 刷新率）/ 压缩比。
• 将运动到光子（MTP）延迟建模为运动感知、处理、编码、传输、解码和显示渲染延迟的总和。
• 利用式14推导最大可接受的分组丢失率，以确定可靠传输的上限。
• 根据其对C3（缓存、计算、通信）的影响对现有优化技术进行分类，包括多连接性、主动缓存和边缘卸载。
• 评估新兴标准（如Wi-Fi 7（802.11be）及其特性——多链路操作、多AP协调和全双工操作）在提升XR传输吞吐量和可靠性方面的潜力。

Figure 1: Applications of AR and VR in the context of self-driving cars (courtesy of Volvo)

实验结果

研究问题

• RQ1 与实际的Oculus Quest 2部署相比，高保真类眼VR体验所需的比特率、延迟和分组丢失率分别是多少？
• RQ2 运动到光子（MTP）延迟的各个组成部分如何影响整体系统延迟？弱交互和强交互VR服务的典型值是多少？
• RQ3 为维持感知质量，沉浸式XR体验的最大可接受分组丢失率是多少？该值如何随不同传输延迟和比特率而变化？
• RQ4 在缓存、计算与通信（C3）方面，哪些优化技术对降低延迟、节省带宽和提升可靠性最为有效？
• RQ5 Wi-Fi 7（802.11be）和边缘计算如何协同提升无线XR系统的性能？

主要发现

• 在无压缩情况下，理想的类眼VR体验峰值比特率高达2.71 Tbps，而Oculus Quest 2体验的峰值比特率最高为10.80 Gbps。
• 在600:1的有损压缩下，理想类眼VR体验所需的比特率降至4.62 Gbps，而Quest 2的比特率则降低至18.44 Mbps。
• Oculus Quest 2的典型运动到光子（MTP）延迟为≤69 ms，而理想类眼VR体验的延迟为≤20 ms，前者采用H.265编码。
• Oculus Quest 2的最大可接受分组丢失率为≤7.2×10⁻⁶（99.99928%交付成功率），而理想类眼VR体验为≤1×10⁻⁶（99.9999%成功率）。
• 采用多链路操作和多AP协调的Wi-Fi 7（802.11be）可支持高达30 Gbps的吞吐量，并显著提升XR流量的可靠性和延迟性能。
• 在Wi-Fi 7中，联合优化传输调度与多AP协调对于充分发挥多链路和多频段特性的潜力、实现低延迟、高吞吐量的XR传输至关重要。

Figure 2: There are two types of movements, head rotational movements (left), and body translational movements (right). 360-degree videos consists of the head rotational movements only, while volumetric videos consists of both the head rotational and the body translational movements