[논문 리뷰] Traffic Characteristics of Extended Reality

Abdullah M. Alnajim, Seyedmohammad Salehi외 2명|arXiv (Cornell University)|2023. 04. 16.

Image and Video Quality Assessment인용 수 5

한 줄 요약

이 튜토리얼 논문은 확장현실(XR) 애플리케이션의 엄격한 트래픽 요구사항—특히 고대역폭, 초저지연, 초고신뢰성—을 분석한다. 실제 Oculus Quest 2 사용 사례와 이상적인 눈과 유사한 VR 경험을 평가하여 핵심 성능 목표(예: ≤69 ms 모션 투 포톤 지연, ≤7.2×10⁻⁶ 패킷 손실)를 규명하고, 캐싱, 컴퓨팅, 통신 분야의 최적화 기법을 검토한다. 이는 향후 XR의 확장성과 성능을 가능하게 하는 핵심 기반 기술로 Wi-Fi 7과 엣지 컴퓨팅을 강조한다.

ABSTRACT

This tutorial paper analyzes the traffic characteristics of immersive experiences with extended reality (XR) technologies, including Augmented reality (AR), virtual reality (VR), and mixed reality (MR). The current trend in XR applications is to offload the computation and rendering to an external server and use wireless communications between the XR head-mounted display (HMD) and the access points. This paradigm becomes essential owing to (1) its high flexibility (in terms of user mobility) compared to remote rendering through a wired connection, and (2) the high computing power available on the server compared to local rendering (on HMD). The requirements to facilitate a pleasant XR experience are analyzed in three aspects: capacity (throughput), latency, and reliability. For capacity, two VR experiences are analyzed: a human eye-like experience and an experience with the Oculus Quest 2 HMD. For latency, the key components of the motion-to-photon (MTP) delay are discussed. For reliability, the maximum packet loss rate (or the minimum packet delivery rate) is studied for different XR scenarios. Specifically, the paper reviews optimization techniques that were proposed to reduce the latency, conserve the bandwidth, extend the scalability, and/or increase the reliability to satisfy the stringent requirements of the emerging XR applications.

연구 동기 및 목표

• 무선 네트워크 제약 조건 하에서 몰입형 XR 애플리케이션(VR, AR, MR 포함)의 엔드 투 엔드 트래픽 특성을 분석하기 위해.
• 두 가지 대표적 XR 경험—실제로 구현된 Oculus Quest 2 배포와 이상적인 눈과 유사한 VR 경험—을 통해 대역폭, 지연, 신뢰성 등의 엄격한 QoS 요구사항을 정량화하기 위해.
• XR 워크로드의 지연 감소, 대역폭 절약, 신뢰성 향상에 기여하는 캐싱, 컴퓨팅, 통신(C3) 분야의 최적화 기법을 식별하고 분류하기 위해.
• 향후 XR 요구사항을 충족시키기 위해 Wi-Fi 7(802.11be), 엣지 컴퓨팅, 다중접근 전략과 같은 신규 기술의 역할을 평가하기 위해.

제안 방법

• 실제로 사용되는 Oculus Quest 2 기반의 실용적 구현과 이상적인 눈과 유사한 VR 경험을 분석하며, 해상도, 새로움 주기, 압축 표준(H.265)과 같은 실제 파rameter를 사용한다.
• 다음 공식을 사용하여 필요한 비트레이트를 계산한다: 비트레이트 = (가로 해상도 × 세로 해상도 × 색상 깊이 × 새로움 주기) / 압축 비율.
• 모션 투 포톤(MTP) 지연을 운동 감지, 처리, 압축, 전송, 복호화, 디스플레이 렌더링 지연의 합으로 모델링한다.
• MTP 지연과 비트레이트를 기반으로 최대 허용 패킷 손실 비율을 유도하며, 신뢰성 있는 전송을 위한 상한선을 결정하기 위해 식(14)를 적용한다.
• 다중 연결, 사전 캐싱, 엣지 오프로딩 등 C3(캐싱, 컴퓨팅, 통신)에 영향을 미치는 기존 최적화 기법을 분류한다.
• Wi-Fi 7(802.11be)의 기능—다중링크 운영, 다중AP 조율, 전반방향 운영—이 XR 트래픽의 대역폭과 신뢰성을 향상시키는 잠재력을 평가한다.

Figure 1: Applications of AR and VR in the context of self-driving cars (courtesy of Volvo)

실험 결과

연구 질문

• RQ1 이상적인 눈과 유사한 고해상도 VR 경험은 실용적인 Oculus Quest 2 배포 대비 어떤 비트레이트, 지연, 패킷 손실 비율을 요구하는가?
• RQ2 모션 투 포톤(MTP) 지연의 구성 요소는 전체 시스템 지연에 어떻게 기여하는가? 그리고 약한 상호작용과 강한 상호작용 VR 서비스의 일반적인 값은 무엇인가?
• RQ3 몰입형 XR 경험에서 인지 품질을 유지하기 위해 허용 가능한 최대 패킷 손실 비율은 얼마이며, 전송 지연과 비트레이트에 따라 어떻게 변화하는가?
• RQ4 XR 애플리케이션의 지연 감소, 대역폭 절약, 신뢰성 향상에 가장 효과적인 C3(캐싱, 컴퓨팅, 통신) 최적화 기법은 무엇인가?
• RQ5 Wi-Fi 7(802.11be)와 엣지 컴퓨팅이 결합되어 무선 XR 시스템의 성능을 어떻게 향상시킬 수 있는가?

주요 결과

• 이상적인 눈과 유사한 VR 경험은 압축 없이 최대 2.71 Tbps의 피크 비트레이트를 요구하는 반면, Oculus Quest 2 경험은 동일 조건에서 최대 10.80 Gbps를 필요로 한다.
• 600:1 손실 압축을 적용할 경우, 이상적인 눈과 유사한 VR의 비트레이트는 4.62 Gbps로 감소하고, Quest 2의 경우 18.44 Mbps로 감소한다.
• Oculus Quest 2의 일반적인 모션 투 포톤(MTP) 지연은 ≤69 ms이며, 이상적인 눈과 유사한 VR의 경우 ≤20 ms이다. 이 경우 H.265 압축이 사용된다.
• Oculus Quest 2의 최대 허용 패킷 손실 비율은 ≤7.2×10⁻⁶(99.99928% 성공 전달)이며, 이상적인 눈과 유사한 VR의 경우 ≤1×10⁻⁶(99.9999% 성공)이다.
• 다중링크 운영과 다중AP 조율 기능을 갖춘 Wi-Fi 7(802.11be)는 최대 30 Gbps의 대역폭을 지원하며, XR 트래픽의 신뢰성과 지연을 크게 향상시킨다.
• Wi-Fi 7에서 다중링크 및 다중대역 기능의 잠재력을 극대화하기 위해 전송 스케줄링과 다중AP 조율의 공동 최적화가 필수적이다.

Figure 2: There are two types of movements, head rotational movements (left), and body translational movements (right). 360-degree videos consists of the head rotational movements only, while volumetric videos consists of both the head rotational and the body translational movements