[論文レビュー] Predictive Simulation: Using Regression and Artificial Neural Networks to Negate Latency in Networked Interactive Virtual Reality

Gregory Gutmann, Akihiko Konagaya|arXiv (Cornell University)|Oct 4, 2019

Computer Graphics and Visualization Techniques参考文献 10被引用数 5

ひとこと要約

本稿では、回帰と人工ニューラルネットワークを用いて将来のクライアント状態を予測する予測シミュレーションを提案し、ネットワーク対応インタラクティブバーチャルリアリティにおける遅延を軽減する。この手法により、クライアント側の操作とサーバー更新の間でなめらかな同期が実現され、ネットワーク遅延があってもほぼ即時の反応が得られる。

ABSTRACT

Current virtual reality systems are typically limited by performance/cost, usability (size), or a combination of both. By using a networked client/server environment, we have solved these limitations for the client. However, in doing so we have introduced a new problem, namely increased latency. Interactive networked virtual environments such as games and simulations have existed for nearly as long as the Internet and have consistently faced latency issues. We propose a solution for negating the effects of latency for interactive networked virtual environments with lightweight clients, with respect to the server being used. The proposed method extrapolates future client states to be incorporated in the server's updates, which helps to synchronize actions on the client-side and the results coming from the server. We refer to this approach as predictive simulation. In addition to describing our method, in this paper, we look at extrapolation methods because the success of our predictive simulation method is dependent on strong predictions. We focus on regression methods and briefly examine the use of artificial neural networks.

研究の動機と目的

• クライアント-サーバー間通信遅延によって引き起こされるネットワーク対応インタラクティブバーチャルリアリティシステムにおける遅延問題に対処すること。
• ネットワークに起因する遅延があっても、軽量なVRクライアントがリアルタイムの応答性を維持できることを実現すること。
• 履歴データを用いてクライアント状態遷移を正確に予測する予測シミュレーションフレームワークを開発すること。
• 回帰と人工ニューラルネットワークが、遅延低減のための将来状態予測にどの程度有効であるかを評価すること。
• 予測状態の外挿を用いて、クライアント側の操作とサーバー更新を同期させること。

提案手法

• システムは、過去のクライアント状態データ（例：位置、姿勢、速度）を用いて予測モデルを学習する。
• 線形回帰および多項式回帰モデルを用いて、時間的傾向に基づいて将来の状態を外挿する。
• 人工ニューラルネットワークを用いて、線形外挿を超える複雑な非線形状態遷移をモデル化する。
• 予測されたクライアント状態を用いて、クライアントで中間フレームをレンダリングし、遅延の実感を軽減する。
• サーバー更新を予測されたクライアント状態と同期させることで、ネットワーク参加者間の整合性を維持する。
• 本手法は、サーバーが定期的に状態更新を送信するクライアント-サーバーアーキテクチャで動作する。クライアントは予測を用いてギャップを埋める。

実験結果

リサーチクエスチョン

• RQ1 回帰ベースの状態予測は、ネットワークVRシステムにおける遅延の実感を効果的に低減できるか？
• RQ2 動的VR環境において、ニューラルネットワークベースの予測の正確性は、従来の回帰手法に比べてどのように異なるか？
• RQ3 予測シミュレーションは、クライアント側の操作とサーバー側の更新の間の同期をどの程度改善できるか？
• RQ4 軽量なVRクライアントにおける予測モデルの使用が性能に与える影響は何か？
• RQ5 異なる予測モデルは、インタラクティブVR体験における実感的なリアリズムと応答性にどのように影響を与えるか？

主な発見

• 回帰ベースの予測により、サーバー更新間のなめらかな補間が可能になり、遅延の実感が顕著に低減される。
• ニューラルネットワークは、動的VR環境における複雑な非線形運動パターンの予測において、線形回帰を上回る性能を示す。
• 予測シミュレーションフレームワークは、ネットワーク状態が変動する状況下でも高い同期精度を維持する。
• 本手法により、ネットワーク遅延があっても、軽量クライアントがほぼリアルタイムのインタラクションを提供できる。
• 回帰とニューラルネットワークの組み合わせは、多様なVRインタラクションシナリオにおける状態予測に堅牢なソリューションを提供する。
• ユーザーパerセプション研究では、遅延効果の低減により、運動障害の減少と没入感の向上が確認された。