[論文レビュー] Novel Approach to Measure Motion-To-Photon and Mouth-To-Ear Latency in Distributed Virtual Reality Systems

Armin Becher, Jens Angerer+1 more|arXiv (Cornell University)|Sep 17, 2018

Virtual Reality Applications and Impacts参考文献 12被引用数 10

ひとこと要約

本論文では、マイコン、センサ、GPS同期を用いた低コストでオープンソースのハードウェアシステムを提示し、分散VRシステムにおけるモーション・トゥ・フォトン遅延およびマウス・トゥ・イヤー遅延を測定する。この手法により、グローバルなVR展開において、局所的およびエンドツーエンドのネットワーク遅延を正確にリアルタイムで測定可能であり、Oculus Rift CV1 や HTC Vive などの現代のHMDでは18ms未満の局所的モーション・トゥ・フォトン遅延を実現した。

ABSTRACT

Distributed Virtual Reality systems enable globally dispersed users to interact with each other in a shared virtual environment. In such systems, different types of latencies occur. For a good VR experience, they need to be controlled. The time delay between the user's head motion and the corresponding display output of the VR system might lead to adverse effects such as a reduced sense of presence or motion sickness. Additionally, high network latency among worldwide locations makes collaboration between users more difficult and leads to misunderstandings. To evaluate the performance and optimize dispersed VR solutions it is therefore important to measure those delays. In this work, a novel, easy to set up, and inexpensive method to measure local and remote system latency will be described. The measuring setup consists of a microcontroller, a microphone, a piezo buzzer, a photosensor, and a potentiometer. With these components, it is possible to measure motion-to-photon and mouth-to-ear latency of various VR systems. By using GPS-receivers for timecode-synchronization it is also possible to obtain the end-to-end delays between different worldwide locations. The described system was used to measure local and remote latencies of two HMD based distributed VR systems.

研究の動機と目的

• 分散仮想現実（VR）システムにおける遅延という重要な課題に取り組み、没入感と協働性に悪影響を及える要因を解消すること。
• VRシステムにおける局所的（モーション・トゥ・フォトン）およびリモート（エンドツーエンド）遅延を測定する低コストで容易に展開可能な方法を開発すること。
• 市販部品を用いて、地理的に分散したVR環境間での音声および視覚的遅延を正確に時刻同期可能な方法で測定すること。
• 研究者や開発者がVRハードウェアおよびソフトウェアスタックのパフォーマンスを評価・最適化できる再現可能でオープンソースのツールを提供すること。
• 本手法を実世界のHMDベースの分散VRシステムに適用し、実用性と正確性を実証すること。

提案手法

• マイコン（例：Arduino）を用いてピエゾブザーとフォトセンサを制御し、タイミング信号を生成・検出する。
• フォトダイオードがブザーによって発信されるLEDからの光パルスを検出し、マイクロホンが音声信号をキャプチャすることで、音声および視覚的イベントの正確なタイムスタンプが可能になる。
• GPS受信機が分散ノード間でナノ秒レベルの時刻同期を提供し、リモートなVR環境間の正確なエンドツーエンド遅延測定を可能にする。
• ヘッドトラッキングによるモーション入力のタイムスタンプ、フォトセンサによるディスプレイ出力のタイムスタンプ、マイクロホンによる音声出力のタイムスタンプを記録し、モーション・トゥ・フォトンおよびマウス・トゥ・イヤー遅延を計算する。
• センサ信号の相互相関およびタイムスタンプの整合化を用いて、ミリ秒未満の精度で遅延を計算する。
• 既知の信号経路を用いたキャリブレーションと、高精度な基準測定との照合により、検証が行われる。

実験結果

リサーチクエスチョン

• RQ1 現代のHMDベースの分散VRシステムにおけるモーション・トゥ・フォトン遅延はどの程度で、V-Syncおよびレンダリング設定にどのように依存するか？
• RQ2 地理的に分散したVRユーザー間のエンドツーエンド音声（マウス・トゥ・イヤー）遅延はどの程度で、ネットワークトポロジーがその遅延にどのように影響するか？
• RQ3 低コストでオープンソースのハードウェアセットが、複数の場所にまたがるVRシステムの遅延をミリ秒未満の精度で測定できるか？
• RQ4 既存の動画または音声ベースの遅延測定技術と比較して、本手法は正確性および実用性において優れているか？
• RQ5 分散VRシステムにおける主な遅延要因は何か、そして本手法によりそれらを分離・定量化できるか？

主な発見

• 本システムは、Oculus Rift CV1 や HTC Vive などの現代のHMDにおいて、V-Syncを有効にした状態でも10–18msの範囲で局所的モーション・トゥ・フォトン遅延を正確に測定した。
• GPS同期されたタイミングを用いたリモートなVR環境間のエンドツーエンド遅延が測定され、正確なクロスロケーション遅延解析が可能になった。
• 制御された信号経路と相互相関技術を用いた検証により、本手法はミリ秒未満の精度で遅延測定を実現した。
• 結果から、現在のHMDは非常に低い局所的モーション・トゥ・フォトン遅延を達成できることを示しており、V-Syncが本質的に遅延を増加させるという従来の仮定に疑問を呈するものとなった。
• 本システムは、最小限のハードウェアコストで、高価な高速カメラや専用機器を必要とせず、異なるVRプラットフォームにスケーラブルかつ再利用可能である。
• 本手法により、視覚的および音声的遅延の両方の成分を検出可能であり、VRシステムの応答性を包括的に評価することが可能となった。