[論文レビュー] Minimizing the Motion-to-Photon-delay (MPD) in Virtual Reality Systems

Akanksha Dixit, Smruti R. Sarangi|arXiv (Cornell University)|Jan 25, 2023

Image and Video Quality Assessment被引用数 4

ひとこと要約

本論文では、予測可能なGPUアクセラレート型非同期タイムワープ（ATW）の遅延を予測することで、VRシステムにおけるモーション・トゥ・フォトン・デレイ（MPD）を最小限に抑えるため、可能な限り遅くタイムワープをスケジューリングする機械学習ベースのシステムPredATWを提案する。予測誤差は0.77 msであり、ベースラインと比較してデッドライン違反を73.1%削減し、追加のハードウェアを必要としない低コストなソフトウェアソリューションを提供する。

ABSTRACT

With the advent of low-power ultra-fast hardware and GPUs, virtual reality (VR) has gained a lot of prominence in the last few years and is being used in various areas such as education, entertainment, scientific visualization, and computer-aided design. VR-based applications are highly interactive, and one of the most important performance metrics for these applications is the motion-to-photon-delay (MPD). MPD is the delay from the users head movement to the time at which the image gets updated on the VR screen. Since the human visual system can even detect an error of a few pixels (very spatially sensitive), the MPD should be as small as possible. Popular VR vendors use the GPU-accelerated Asynchronous Time Warp (ATW) algorithm to reduce the MPD. ATW reduces the MPD if and only if the warping operation finishes just before the display refreshes. However, due to the competition between applications for the shared GPU, the GPU-accelerated ATW algorithm suffers from an unpredictable ATW latency, making it challenging to find the ideal time instance for starting the time warp and ensuring that it completes with the least amount of lag relative to the screen refresh. Hence, the state-of-the-art is to use a separate hardware unit for the time warping operation. Our approach, PredATW, uses an ML-based predictor to predict the ATW latency for a VR application, and then schedule it as late as possible. This is the first work to do so. Our predictor achieves an error of 0.77 ms across several popular VR applications for predicting the ATW latency. As compared to the baseline architecture, we reduce deadline misses by 73.1%.

研究の動機と目的

• GPUアクセラレート型VRシステムにおける予測不可能なATW遅延の課題に対処し、MPDとユーザーエクスペリエンスの劣化を軽減すること。
• VRアプリケーションにおけるモーション・トゥ・フォトン・デレイ（MPD）を低減すること。これは、運動性の悪化を防ぎ、没入感のあるインタラクションを保証するために重要である。
• 専用ハードウェアユニットや複雑なモーション予測を必要としない、低コストのソフトウェアオンリーソリューションを開発し、ATW遅延予測に焦点を当てる。
• タイムワープ処理をディスプレイリフレッシュの直前まで遅らせることで、正確なスケジューリングを可能にし、ラグとデッドライン違反を最小限に抑える。

提案手法

• 実行時特性に基づいてGPUアクセラレート型非同期タイムワープ（ATW）操作の遅延を推定するための機械学習予測モデルを学習する。
• 予測されたATW遅延を用いて、ディスプレイリフレッシュの直前に完了するよう、タイムワープカーネルを開始する最適な時刻を決定する。
• 同時に実行されるアプリケーションによる干渉を含むリアルタイムのGPUワークロードデータを活用し、ノイズの多い条件下でも予測の頑健性を向上させる。
• VRレンダリングパイプラインに予測モデルを統合し、既存のGPUレンダリングやワープカーネルを変更せずに、ATW起動タイミングを動的に調整する。
• 標準的なGPUアクセラレート型ATWの上位に軽量なソフトウェアレイヤーとして動作させることで、既存のVRワークロードと互換性を維持する。
• 最小限のオーバーヘッドで高い精度を達成する回帰モデルを用い、共有GPUリソースの競合状況下でも正確な予測を実現する。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、リアルタイムでGPUアクセラレート型ATW操作の変動する遅延を正確に予測できるか？
• RQ2 ATW遅延の予測は、固定またはヒューリスティックなスケジューリング戦略と比較して、MPD低減にどの程度寄与するか？
• RQ3 専用ハードウェアを備えないソフトウェアオンリーソリューションは、ATWスケジューリングにおけるデッドライン違反をどの程度削減できるか？
• RQ4 実世界のGPUワークロード干渉下で、ATW遅延の予測精度はどの程度達成可能か？
• RQ5 提案手法は、既存のVRレンダリングスタックと互換性を保ちながら、MPDを顕著に低減できるか？

主な発見

• 提案された機械学習ベースの予測モデルは、複数の代表的なVRアプリケーションにおいて、平均絶対誤差（MAE）がわずか0.77 msでATW遅延を予測している。
• PredATWは、ベースラインのGPUアクセラレート型ATWアプローチと比較して、ATWスケジューリングにおけるデッドライン違反を73.1%削減した。
• 他のアプリケーションによるGPUリソースの競合状況下でも高い精度を維持しており、共有環境下での頑健性を示している。
• 専用ワープユニットや二重GPUアーキテクチャなどの追加ハードウェアを必要とせず、顕著なMPD低減を実現した。
• ディスプレイリフレッシュの直前にタイムワープ処理が完了する最適なスケジューリングを可能にした。
• アンサンブル学習やより多くのトレーニングデータを用いた今後の改善により、予測誤差を0.5 ms未満に低下させられる可能性がある。