[논문 리뷰] Minimizing the Motion-to-Photon-delay (MPD) in Virtual Reality Systems

Akanksha Dixit, Smruti R. Sarangi|arXiv (Cornell University)|2023. 01. 25.

Image and Video Quality Assessment인용 수 4

한 줄 요약

이 논문은 가상현실 시스템에서 GPU 가속 Asynchronous Time Warp(ATW) 지연을 예측하는 기계학습 기반 시스템 PredATW를 제안한다. 이 시스템은 시간 왜곡을 가능한 늦게 수행함으로써 운동-포즈 지연(MPD)을 최소화한다. 예측 오차는 0.77 ms이며, 기준 대비 73.1%의 디드라인 미달을 감소시켜 추가 하드웨어 없이 저비용 소프트웨어 솔루션을 제공한다.

ABSTRACT

With the advent of low-power ultra-fast hardware and GPUs, virtual reality (VR) has gained a lot of prominence in the last few years and is being used in various areas such as education, entertainment, scientific visualization, and computer-aided design. VR-based applications are highly interactive, and one of the most important performance metrics for these applications is the motion-to-photon-delay (MPD). MPD is the delay from the users head movement to the time at which the image gets updated on the VR screen. Since the human visual system can even detect an error of a few pixels (very spatially sensitive), the MPD should be as small as possible. Popular VR vendors use the GPU-accelerated Asynchronous Time Warp (ATW) algorithm to reduce the MPD. ATW reduces the MPD if and only if the warping operation finishes just before the display refreshes. However, due to the competition between applications for the shared GPU, the GPU-accelerated ATW algorithm suffers from an unpredictable ATW latency, making it challenging to find the ideal time instance for starting the time warp and ensuring that it completes with the least amount of lag relative to the screen refresh. Hence, the state-of-the-art is to use a separate hardware unit for the time warping operation. Our approach, PredATW, uses an ML-based predictor to predict the ATW latency for a VR application, and then schedule it as late as possible. This is the first work to do so. Our predictor achieves an error of 0.77 ms across several popular VR applications for predicting the ATW latency. As compared to the baseline architecture, we reduce deadline misses by 73.1%.

연구 동기 및 목표

• GPU 가속 VR 시스템에서 예측할 수 없는 ATW 지연 문제를 해결함으로써 MPD와 사용자 경험을 악화시키는 요인을 제거한다.
• 운동-포즈 지연(MPD)을 줄여 운동병을 방지하고 몰입감 있는 상호작용을 보장한다.
• 전용 하드웨어 유닛이나 복잡한 운동 예측을 필요로 하지 않는 저비용 소프트웨어 전용 솔루션을 개발함으로써, ATW 지연 예측에 집중한다.
• 시간 왜곡 작업을 디스플레이 리프레시 전에 가능한 한 늦게 시작하여 정확한 스케줄링을 가능하게 한다. 이로써 지연과 디드라인 미달을 최소화한다.

제안 방법

• 런타임 특성에 기반해 GPU 가속 Asynchronous Time Warp(ATW) 작업의 지연을 추정하기 위해 기계학습 예측 모델을 훈련한다.
• 예측된 ATW 지연을 바탕으로 시간 왜곡 커널을 시작할 최적의 시점을 결정하여, 디스플레이 리프레시 이전에 완료되도록 하되 가능한 한 늦게 시작한다.
• 동시 실행되는 애플리케이션 간 간섭 등의 실시간 GPU 워크로드 데이터를 활용해, 노이즈가 많은 조건에서도 예측의 강건성을 향상시킨다.
• 기존 GPU 렌더링 및 왜곡 커널을 수정하지 않고도 VR 렌더링 파이프라인에 예측 모델을 통합하여 동적으로 ATW 실행 타이밍을 조정한다.
• 기존 VR 워크로드와의 호환성을 확보하기 위해 표준 GPU 가속 ATW 위에 경량 소프트웨어 계층으로 운영한다.
• 최소한의 오버헤드로 고정밀도 예측을 달성하기 위해 회귀 모델을 사용하여, 공유 GPU 자원 경쟁 조건에서도 높은 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 실시간으로 GPU 가속 ATW 작업의 변동 지연을 기계학습 모델이 정확하게 예측할 수 있는가?
• RQ2 ATW 지연 예측이 고정 또는 히وري스틱 스케줄링 전략에 비해 MPD 감소에 얼마나 기여하는가?
• RQ3 전용 하드웨어 없이 소프트웨어 전용 솔루션으로 ATW 스케줄링의 디드라인 미달을 얼마나 줄일 수 있는가?
• RQ4 실제 GPU 워크로드 간섭 조건 하에서 ATW 지연 예측 정확도는 어느 정도 달성 가능한가?
• RQ5 제안된 접근 방식은 기존 VR 렌더링 스택과의 호환성을 유지하면서도 MPD를 상당히 감소시킬 수 있는가?

주요 결과

• 제안된 기계학습 기반 예측 모델은 여러 주요 VR 애플리케이션을 대상으로 평균 절대 오차(MAE)가 단지 0.77 ms로 매우 높은 정확도를 달성한다.
• PredATW는 기준 GPU 가속 ATW 접근 방식 대비 ATW 스케줄링에서의 디드라인 미달을 73.1% 감소시킨다.
• 다른 애플리케이션으로 인한 GPU 자원 경쟁 조건에서도 높은 정확도를 유지하여 공유 환경에서도 강건함을 입증한다.
• 전용 왜곡 유닛이나 듀얼 GPU 아키텍처와 같은 추가 하드웨어 없이도 상당한 MPD 감소 효과를 달성한다.
• 시간 왜곡 작업을 디스플레이 리프레시 직전에 완료할 수 있도록 최적의 스케줄링을 가능하게 한다. 이로써 운동-포즈 지연을 최소화한다.
• 향후 앙상블 학습이나 더 많은 학습 데이터를 활용하면 예측 오차를 0.5 ms 이하로 낮출 수 있을 것으로 예상된다.