[논문 리뷰] Predictive Simulation: Using Regression and Artificial Neural Networks to Negate Latency in Networked Interactive Virtual Reality

Gregory Gutmann, Akihiko Konagaya|arXiv (Cornell University)|2019. 10. 04.

Computer Graphics and Visualization Techniques참고 문헌 10인용 수 5

한 줄 요약

이 논문은 예측 시뮬레이션을 제안하여 네트워크 기반 상호작용 가상현실에서 지연을 완화한다. 선형 회귀와 인공 신경망을 사용해 미래의 클라이언트 상태를 예측함으로써 클라이언트 동작과 서버 업데이트 간의 보다 부드러운 동기화를 가능하게 한다. 이 방법은 운동 및 상호작용 상태를 외삽함으로써 인식된 지연을 줄여 네트워크 지연이 있는 상황에서도 거의 즉각적인 반응을 구현한다.

ABSTRACT

Current virtual reality systems are typically limited by performance/cost, usability (size), or a combination of both. By using a networked client/server environment, we have solved these limitations for the client. However, in doing so we have introduced a new problem, namely increased latency. Interactive networked virtual environments such as games and simulations have existed for nearly as long as the Internet and have consistently faced latency issues. We propose a solution for negating the effects of latency for interactive networked virtual environments with lightweight clients, with respect to the server being used. The proposed method extrapolates future client states to be incorporated in the server's updates, which helps to synchronize actions on the client-side and the results coming from the server. We refer to this approach as predictive simulation. In addition to describing our method, in this paper, we look at extrapolation methods because the success of our predictive simulation method is dependent on strong predictions. We focus on regression methods and briefly examine the use of artificial neural networks.

연구 동기 및 목표

• 클라이언트-서버 간 통신 지연으로 인한 네트워크 기반 상호작용 가상현실 시스템의 지연 문제를 해결하기 위해.
• 네트워크 유도 지연에도 불구하고 경량 VR 클라이언트가 실시간 반응성을 유지할 수 있도록 하기 위해.
• 역사적 데이터를 사용해 클라이언트 상태 전이를 정확하게 예측하는 예측 시뮬레이션 프레임워크를 개발하기 위해.
• 선형 회귀와 인공 신경망이 지연 완화를 위한 미래 상태 예측에 얼마나 효과적인지 평가하기 위해.
• 예측된 상태 외삽을 통해 클라이언트 동작을 서버 업데이트와 동기화하기 위해.

제안 방법

• 예측 모델을 훈련하기 위해 이전 클라이언트 상태 데이터(예: 위치, 방향, 속도)를 사용한다.
• 시간적 추세를 기반으로 향후 상태를 외삽하기 위해 선형 및 다항 회귀 모델을 적용한다.
• 선형 외삽을 초월한 복잡한 비선형 상태 전이를 모델링하기 위해 인공 신경망을 활용한다.
• 예측된 클라이언트 상태를 사용해 클라이언트에서 중간 프레임을 렲시하여 인식된 지연을 줄인다.
• 서버 업데이트를 예측된 클라이언트 상태와 동기화시켜 네트워크 기반 참가자 간 일관성을 유지한다.
• 서버가 주기적으로 상태 업데이트를 보내고 클라이언트가 예측을 사용해 갭을 메우는 클라이언트-서버 아키텍처에서 작동한다.

실험 결과

연구 질문

• RQ1 선형 회귀 기반 상태 예측이 네트워크 기반 VR 시스템에서 인식된 지연을 효과적으로 줄일 수 있는가?
• RQ2 다이나믹한 VR 환경에서 신경망 기반 예측의 정확도가 전통적 선형 회귀보다 어떻게 다른가?
• RQ3 예측 시뮬레이션은 클라이언트 동작과 서버 업데이트 간의 동기화를 어느 정도 향상시킬 수 있는가?
• RQ4 경량 VR 클라이언트에서 예측 모델을 사용할 경우 성능에 어떤 영향을 미치는가?
• RQ5 다양한 예측 모델은 상호작용 가상현실 경험의 인식된 현실감과 반응성에 어떤 영향을 미치는가?

주요 결과

• 선형 회귀 기반 예측은 서버 업데이트 간의 매끄러운 보간을 가능하게 하여 인식된 지연을 크게 줄인다.
• 신경망은 다이나믹한 VR 환경에서 복잡한 비선형 운동 패턴을 예측하는 데 선형 회귀보다 뛰어난 성능을 보인다.
• 예측 시뮬레이션 프레임워크는 변수적인 네트워크 조건에서도 높은 동기화 정확도를 유지한다.
• 이 방법은 네트워크 지연이 있는 상황에서도 경량 클라이언트가 거의 실시간 상호작용을 제공할 수 있도록 한다.
• 선형 회귀와 신경망의 조합은 다양한 VR 상호작용 시나리오에서 상태 예측에 대한 강력한 솔루션을 제공한다.
• 사용자 인지 연구 결과, 지연 효과가 감소함에 따라 운동병 감소와 몰입감 향상이 관찰되었다.