[论文解读] Minimizing the Motion-to-Photon-delay (MPD) in Virtual Reality Systems

Akanksha Dixit, Smruti R. Sarangi|arXiv (Cornell University)|Jan 25, 2023

Image and Video Quality Assessment被引用 4

一句话总结

本文提出 PredATW，一种基于机器学习的系统，可预测在虚拟现实系统中使用GPU加速的异步时间扭曲（ATW）延迟，从而尽可能推迟时间扭曲的调度，以最小化运动到光子延迟（MPD）。其预测误差仅为0.77毫秒，与基线相比，减少73.1%的截止时间错过情况，提供了一种无需额外硬件的低成本软件解决方案。

ABSTRACT

With the advent of low-power ultra-fast hardware and GPUs, virtual reality (VR) has gained a lot of prominence in the last few years and is being used in various areas such as education, entertainment, scientific visualization, and computer-aided design. VR-based applications are highly interactive, and one of the most important performance metrics for these applications is the motion-to-photon-delay (MPD). MPD is the delay from the users head movement to the time at which the image gets updated on the VR screen. Since the human visual system can even detect an error of a few pixels (very spatially sensitive), the MPD should be as small as possible. Popular VR vendors use the GPU-accelerated Asynchronous Time Warp (ATW) algorithm to reduce the MPD. ATW reduces the MPD if and only if the warping operation finishes just before the display refreshes. However, due to the competition between applications for the shared GPU, the GPU-accelerated ATW algorithm suffers from an unpredictable ATW latency, making it challenging to find the ideal time instance for starting the time warp and ensuring that it completes with the least amount of lag relative to the screen refresh. Hence, the state-of-the-art is to use a separate hardware unit for the time warping operation. Our approach, PredATW, uses an ML-based predictor to predict the ATW latency for a VR application, and then schedule it as late as possible. This is the first work to do so. Our predictor achieves an error of 0.77 ms across several popular VR applications for predicting the ATW latency. As compared to the baseline architecture, we reduce deadline misses by 73.1%.

研究动机与目标

• 解决 GPU 加速的虚拟现实系统中 ATW 延迟不可预测的问题，该问题会降低 MPD 并影响用户体验。
• 减少虚拟现实应用中的运动到光子延迟（MPD），这对于预防晕动症并确保沉浸式交互至关重要。
• 开发一种低成本的纯软件解决方案，通过专注于 ATW 延迟预测，避免对专用硬件单元或复杂运动预测的需求。
• 实现对时间扭曲操作的精确调度，使其在显示刷新前刚好完成，从而最小化延迟和截止时间错过。

提出的方法

• 训练一个机器学习预测器，基于运行时特征估算 GPU 加速的异步时间扭曲（ATW）操作的延迟。
• 利用预测的 ATW 延迟确定启动时间扭曲内核的最佳时机，尽可能推迟启动，同时确保在显示刷新前完成。
• 利用实时 GPU 工作负载数据，包括并发应用程序的干扰，以提升在噪声环境下的预测鲁棒性。
• 将预测器集成到 VR 渲染流水线中，动态调整 ATW 启动时机，而无需修改现有的 GPU 渲染或扭曲内核。
• 通过作为标准 GPU 加速 ATW 之上的轻量级软件层运行，确保系统与现有 VR 工作负载的兼容性。
• 使用回归模型预测 ATW 延迟，实现极低开销，即使在共享 GPU 资源竞争下也能保持高精度。

实验结果

研究问题

• RQ1 机器学习模型能否实时准确预测 GPU 加速 ATW 操作的可变延迟？
• RQ2 与固定或启发式调度策略相比，预测 ATW 延迟在减少 MPD 方面有何优势？
• RQ3 在无专用硬件的情况下，纯软件解决方案在 ATW 调度中能将截止时间错过减少到何种程度？
• RQ4 在真实世界 GPU 工作负载干扰下，ATW 延迟的预测精度能达到何种水平？
• RQ5 所提出的方法能否在保持与现有 VR 渲染栈兼容的同时显著降低 MPD？

主要发现

• 所提出的基于机器学习的预测器在多个主流 VR 应用中预测 ATW 延迟的平均绝对误差（MAE）仅为 0.77 毫秒。
• 与基线 GPU 加速 ATW 方法相比，PredATW 将 ATW 调度中的截止时间错过减少了 73.1%。
• 即使在其他应用程序导致 GPU 资源竞争的情况下，系统仍保持高精度，展现出在共享环境中的鲁棒性。
• 该解决方案无需额外硬件（如专用扭曲单元或双 GPU 架构），即可实现显著的 MPD 减少。
• 该方法可实现时间扭曲的最优调度，使其在显示刷新前刚好完成，从而最小化运动到光子延迟。
• 结果表明，未来通过集成学习或更多训练数据，预测误差有望进一步降低至 0.5 毫秒以下。