[论文解读] Predictive Simulation: Using Regression and Artificial Neural Networks to Negate Latency in Networked Interactive Virtual Reality

Gregory Gutmann, Akihiko Konagaya|arXiv (Cornell University)|Oct 4, 2019

Computer Graphics and Visualization Techniques参考文献 10被引用 5

一句话总结

本文提出预测仿真以减轻网络化交互式虚拟现实中因客户端-服务器通信延迟导致的延迟问题，通过使用回归和人工神经网络预测未来客户端状态，实现客户端操作与服务器更新之间的更平滑同步。该方法通过外推运动和交互状态来减少感知延迟，即使在网络延迟下也能实现近乎即时的响应。

ABSTRACT

Current virtual reality systems are typically limited by performance/cost, usability (size), or a combination of both. By using a networked client/server environment, we have solved these limitations for the client. However, in doing so we have introduced a new problem, namely increased latency. Interactive networked virtual environments such as games and simulations have existed for nearly as long as the Internet and have consistently faced latency issues. We propose a solution for negating the effects of latency for interactive networked virtual environments with lightweight clients, with respect to the server being used. The proposed method extrapolates future client states to be incorporated in the server's updates, which helps to synchronize actions on the client-side and the results coming from the server. We refer to this approach as predictive simulation. In addition to describing our method, in this paper, we look at extrapolation methods because the success of our predictive simulation method is dependent on strong predictions. We focus on regression methods and briefly examine the use of artificial neural networks.

研究动机与目标

• 解决由客户端-服务器通信延迟引起的网络化交互式虚拟现实系统中的延迟问题。
• 使轻量级VR客户端即使在网络延迟影响下仍能保持实时响应能力。
• 开发一种预测仿真框架，利用历史数据准确预测客户端状态转换。
• 评估回归和人工神经网络在预测未来状态以减轻延迟方面的有效性。
• 通过预测状态外推，实现客户端操作与服务器更新的同步。

提出的方法

• 系统使用历史客户端状态数据（例如位置、朝向、速度）训练预测模型。
• 应用线性与多项式回归模型，基于时间趋势外推未来状态。
• 采用人工神经网络建模复杂、非线性的状态转换，超越线性外推能力。
• 使用预测的客户端状态在客户端渲染中间帧，以减少感知延迟。
• 将服务器更新与预测的客户端状态同步，以保持网络参与者之间的一致性。
• 该方法在客户端-服务器架构中运行，其中服务器定期发送状态更新，客户端使用预测填补时间间隙。

实验结果

研究问题

• RQ1 基于回归的状态预测是否能有效减少网络化VR系统中的感知延迟？
• RQ2 在动态VR环境中，神经网络预测的准确性与传统回归相比如何？
• RQ3 预测仿真在多大程度上能改善客户端操作与服务器端更新之间的同步？
• RQ4 在轻量级VR客户端上使用预测模型的性能影响如何？
• RQ5 不同预测模型对交互式VR体验的感知真实感和响应性有何影响？

主要发现

• 基于回归的预测显著减少了感知延迟，实现了服务器更新之间的平滑插值。
• 在动态VR环境中，神经网络在预测复杂非线性运动模式方面优于线性回归。
• 预测仿真框架即使在网络条件变化时也能保持高同步精度。
• 该方法使轻量级客户端即使在网络延迟下也能提供近乎实时的交互体验。
• 回归与神经网络的结合为多样化VR交互场景中的状态预测提供了稳健解决方案。
• 用户感知研究显示，由于延迟效应降低，运动病减少，沉浸感提升。