[논문 리뷰] Novel Approach to Measure Motion-To-Photon and Mouth-To-Ear Latency in Distributed Virtual Reality Systems

Armin Becher, Jens Angerer외 1명|arXiv (Cornell University)|2018. 09. 17.

Virtual Reality Applications and Impacts참고 문헌 12인용 수 10

한 줄 요약

이 논문은 마이크로컨트롤러, 센서, GPS 동기화를 사용하여 분산 VR 시스템에서 움직임에서 화면 출력까지의 지연과 입에서 귀까지의 지연을 측정하는 저비용, 오픈소스 하드웨어 시스템을 제시한다. 이 방법은 글로벌 VR 구축 환경에서 로컬 및 종단 간 네트워크 지연을 정확하고 실시간으로 측정할 수 있게 하며, Oculus Rift CV1 및 HTC Vive와 같은 현대 HMD에서 20ms 이내의 로컬 움직임에서 화면 출력까지의 지연을 입증한다.

ABSTRACT

Distributed Virtual Reality systems enable globally dispersed users to interact with each other in a shared virtual environment. In such systems, different types of latencies occur. For a good VR experience, they need to be controlled. The time delay between the user's head motion and the corresponding display output of the VR system might lead to adverse effects such as a reduced sense of presence or motion sickness. Additionally, high network latency among worldwide locations makes collaboration between users more difficult and leads to misunderstandings. To evaluate the performance and optimize dispersed VR solutions it is therefore important to measure those delays. In this work, a novel, easy to set up, and inexpensive method to measure local and remote system latency will be described. The measuring setup consists of a microcontroller, a microphone, a piezo buzzer, a photosensor, and a potentiometer. With these components, it is possible to measure motion-to-photon and mouth-to-ear latency of various VR systems. By using GPS-receivers for timecode-synchronization it is also possible to obtain the end-to-end delays between different worldwide locations. The described system was used to measure local and remote latencies of two HMD based distributed VR systems.

연구 동기 및 목표

• 분산 가상현실(VR) 시스템에서 존재감과 협업에 악영향을 미치는 치명적인 지연 문제를 해결하기 위해.
• VR 시스템에서 로컬(움직임에서 화면 출력까지) 및 원격(종단 간) 지연을 측정하기 위한 저비용이고 쉽게 구축할 수 있는 방법을 개발하기 위해.
• 일반 소비자용 부품를 사용하여 지리적으로 분산된 VR 위치 간 오디오 및 시각적 지연을 정밀하게 시간 동기화된 방식으로 측정할 수 있도록 하기 위해.
• 연구자 및 개발자가 VR 하드웨어 및 소프트웨어 스택 성능을 평가하고 최적화할 수 있도록 재현 가능한 오픈소스 도구를 제공하기 위해.
• 실세계 HMD 기반 분산 VR 시스템에서 이 방법을 검증하여 실용성과 정확성을 입증하기 위해.

제안 방법

• 마이크로컨트롤러(예: Arduino)를 사용하여 피에조 부저와 광센서를 제어하여 시간 신호를 생성하고 탐지한다.
• 광다이오드가 부저에 의해 유도된 LED의 빛 펄스를 감지하고, 마이크로폰은 오디오 신호를 캡처하여 오디오 및 시각적 이벤트의 정밀 타임스탬프를 확보한다.
• GPS 수신기가 분산된 노드 간 나노초 수준의 시간 동기화를 제공하여 원격 VR 위치 간 정확한 종단 간 지연 측정을 가능하게 한다.
• 헤드 트래킹을 통한 운동 입력, 광센서를 통한 디스플레이 출력, 마이크로폰을 통한 오디오 출력의 타임스탬프를 기록하여 움직임에서 화면 출력까지의 지연과 입에서 귀까지의 지연을 계산한다.
• 센서 신호의 상관관계 분석 및 타임스탬프 정렬 기법을 사용하여 밀리초 이내 정밀도로 지연을 계산한다.
• 기존 신호 경로를 사용한 校정과 고정밀 기준 측정 결과를 기반으로 검증한다.

실험 결과

연구 질문

• RQ1 현대 HMD 기반 분산 VR 시스템에서 움직임에서 화면 출력까지의 지연은 얼마이며, V-Sync 및 렲링 설정에 따라 어떻게 변화하는가?
• RQ2 지리적으로 분산된 VR 사용자 간 종단 간 오디오(입에서 귀까지) 지연은 얼마이며, 네트워크 토폴로지가 이에 어떻게 영향을 미치는가?
• RQ3 저비용, 오픈소스 하드웨어 설정이 여러 위치에서 VR 시스템 지연을 밀리초 이내 정밀도로 측정할 수 있는가?
• RQ4 기존의 영상 기반 또는 오디오 기반 지연 측정 기법과 비교해 볼 때, 제안된 방법은 정확성과 실용성 측면에서 어떻게 다른가?
• RQ5 분산 VR 시스템에서 지배적인 지연 원인은 무엇이며, 이는 이 방법을 통해 고립되고 정량화될 수 있는가?

주요 결과

• 이 시스템은 Oculus Rift CV1 및 HTC Vive와 같은 현대 HMD에서 V-Sync가 켜져 있더라도 10–18ms 범위의 로컬 움직임에서 화면 출력까지의 지연을 성공적으로 측정하였다.
• GPS 동기화된 타이밍을 사용하여 원격 VR 위치 간 종단 간 지연을 측정하였으며, 정확한 위치 간 지연 분석이 가능했다.
• 통제된 신호 경로와 상관관계 기법을 통해 밀리초 이내 정밀도로 지연 측정의 정확성이 입증되었다.
• 결과는 현재 HMD가 매우 낮은 로컬 움직임에서 화면 출력까지의 지연을 달성할 수 있음을 시사하며, 이는 V-Sync가 본질적으로 지연을 증가시킨다는 이전의 가정을 도전한다.
• 이 시스템은 최소한의 하드웨어 비용과 고속 카메라 또는 전용 장비가 필요 없이 다양한 VR 플랫폼에서 확장 가능하고 재사용 가능하다.
• 이 방법은 시각적 지연과 청각적 지연 요소를 모두 탐지할 수 있어 VR 시스템의 반응성에 대한 종합적 평가를 지원한다.