[論文レビュー] Traffic Characteristics of Extended Reality

Abdullah M. Alnajim, Seyedmohammad Salehi+2 more|arXiv (Cornell University)|Apr 16, 2023

Image and Video Quality Assessment被引用数 5

ひとこと要約

本チュートリアル論文は、拡張現実（XR）アプリケーションの厳しいトラフィック要件——特に高容量、超低遅延、超高信頼性——を、実用的なOculus Quest 2のユースケースと理想のアイに似たVR体験の2つのVR体験を評価することで分析する。主なパフォーマンス目標（例：≤69 msのモーション・トゥ・フォトン遅延、≤7.2×10⁻⁶のパケット損失）を特定し、キャッシュ、コンピューティング、通信分野の最適化技術をレビューすることで、これらの要件を満たす。今後のXRのスケーラビリティとパフォーマンスを実現する上で、Wi-Fi 7とエッジコンピューティングが重要な促進要因であると強調している。

ABSTRACT

This tutorial paper analyzes the traffic characteristics of immersive experiences with extended reality (XR) technologies, including Augmented reality (AR), virtual reality (VR), and mixed reality (MR). The current trend in XR applications is to offload the computation and rendering to an external server and use wireless communications between the XR head-mounted display (HMD) and the access points. This paradigm becomes essential owing to (1) its high flexibility (in terms of user mobility) compared to remote rendering through a wired connection, and (2) the high computing power available on the server compared to local rendering (on HMD). The requirements to facilitate a pleasant XR experience are analyzed in three aspects: capacity (throughput), latency, and reliability. For capacity, two VR experiences are analyzed: a human eye-like experience and an experience with the Oculus Quest 2 HMD. For latency, the key components of the motion-to-photon (MTP) delay are discussed. For reliability, the maximum packet loss rate (or the minimum packet delivery rate) is studied for different XR scenarios. Specifically, the paper reviews optimization techniques that were proposed to reduce the latency, conserve the bandwidth, extend the scalability, and/or increase the reliability to satisfy the stringent requirements of the emerging XR applications.

研究の動機と目的

• 無線ネットワーク制約下での没入型XRアプリケーション（VR、AR、MRを含む）のエンドツーエンドのトラフィック特性を分析すること。
• 2つの代表的なXR体験——実用的なOculus Quest 2の展開と理想のアイに似たVR体験——を通じて、スループット、遅延、信頼性という厳しいQoS要件を定量化すること。
• XRワークロードの遅延低減、帯域幅の節約、信頼性の向上に寄与するキャッシュ、コンピューティング、通信（C3）分野の最適化技術を特定・分類すること。
• 将来のXR要件を満たすために、Wi-Fi 7（802.11be）、エッジコンピューティング、マルチアクセス戦略といった新技術の役割を評価すること。

提案手法

• 実際のパrameter（解像度、リフレッシュレート、エンコード方式：H.265）を用いて、Oculus Quest 2を用いた実用的実装と理論的理想的なアイに似たVR体験の2つのVR体験を分析する。
• ビットレートを次の式で計算する：ビットレート = （水平解像度 × 垂直解像度 × 色深度 × リフレッシュレート）／ 圧縮比。
• モーション・トゥ・フォトン（MTP）遅延を、モーションセンシング、処理、エンコード、伝送、デコード、ディスプレイレンダリングの遅延の合計としてモデル化する。
• MTP遅延とビットレートを用いて、信頼性の高い伝送の上限を求めるために式14を適用し、許容可能な最大パケット損失率を導出する。
• マルチコネクティビティ、プロアクティブキャッシュ、エッジオフロードなどを含む、C3（キャッシュ、コンピューティング、通信）分野への影響に基づいて、既存の最適化技術を分類する。
• Wi-Fi 7（802.11be）の特徴——マルチリンク運用、マルチAP協調、フルデュプレックス運用——を活用し、XRにおけるスループットと信頼性の向上が可能かどうかを評価する。

Figure 1: Applications of AR and VR in the context of self-driving cars (courtesy of Volvo)

実験結果

リサーチクエスチョン

• RQ1 高精細でアイに似たVR体験と実用的なOculus Quest 2の展開とを比較した場合、必要なビットレート、遅延、パケット損失率はそれぞれどのように異なるか？
• RQ2 モーション・トゥ・フォトン（MTP）遅延の構成要素は、全体のシステム遅延にどのように寄与しているのか？また、弱い相互作用型と強い相互作用型のVRサービスにおける典型的な値は何か？
• RQ3 没入型XR体験が感覚的品質を維持できるために許容可能な最大パケット損失率は何か？また、異なる伝送遅延とビットレートに応じてどのように変化するか？
• RQ4 XRアプリケーションの遅延低減、帯域幅の節約、信頼性の向上に最も効果的なC3（キャッシュ、コンピューティング、通信）最適化技術は何か？
• RQ5 Wi-Fi 7（802.11be）とエッジコンピューティングが併用された場合、無線XRシステムのパフォーマンスはどのように向上するか？

主な発見

• 理想のアイに似たVR体験では、圧縮なしの場合に最大2.71 Tbpsのピークビットレートを必要とし、Oculus Quest 2体験では同じ条件下で最大10.80 Gbpsを要する。
• 600:1の損失圧縮を適用した場合、理想のアイに似たVRのビットレートは4.62 Gbpsに低下し、Quest 2の場合は18.44 Mbpsにまで減少する。
• Oculus Quest 2では典型的なモーション・トゥ・フォトン（MTP）遅延が≤69 ms、理想のアイに似たVRでは≤20 msであり、前者ではH.265エンコードが使用されている。
• Oculus Quest 2では許容可能な最大パケット損失率が≤7.2×10⁻⁶（99.99928％の配信成功率）であり、理想のアイに似たVRでは≤1×10⁻⁶（99.9999％の成功率）である。
• マルチリンク運用とマルチAP協調機能を備えたWi-Fi 7（802.11be）は、最大30 Gbpsのスループットをサポートし、XRトラフィックの信頼性と遅延の両方を顕著に向上させる。
• Wi-Fi 7における送信スケジューリングとマルチAP協調の共同最適化が、マルチリンクおよびマルチバンド機能の潜在能力を最大限に引き出すために不可欠である。

Figure 2: There are two types of movements, head rotational movements (left), and body translational movements (right). 360-degree videos consists of the head rotational movements only, while volumetric videos consists of both the head rotational and the body translational movements