[논문 리뷰] HoloLens 2 Technical Evaluation as Mixed Reality Guide

Hung-Jui Guo, Balakrishnan Prabhakaran|arXiv (Cornell University)|2022. 07. 19.

Augmented Reality Applications인용 수 11

한 줄 요약

이 논문은 센서, 공간 앵커링, 연구 모드 기능을 체계적으로 벤치마킹하여 헬로우렌즈 2를 혼합현실 연구 플랫폼으로 평가한다. 헬로우렌즈 1과의 비교를 통해 시야각, 손 추적, 눈 추적, 센서 정확도에서 뚜렷한 향상을 입증한다. 특히 공간 앵커링 일관성(오차 < 2%)과 저항성 인ert리얼 측정 단위(IMU) 오차(< 5%)에서 뛰어난 성능을 보이며, MR 애플리케이션 개발 및 센서 기반 연구에 신뢰할 수 있는 도구로 활용 가능하다.

ABSTRACT

Mixed Reality (MR) is an evolving technology lying in the continuum spanned by related technologies such as Virtual Reality (VR) and Augmented Reality (AR), and creates an exciting way of interacting with people and the environment. This technology is fast becoming a tool used by many people, potentially improving living environments and work efficiency. Microsoft HoloLens has played an important role in the progress of MR, from the first generation to the second generation. In this paper, we systematically evaluate the functions of applicable functions in HoloLens 2. These evaluations can serve as a performance benchmark that can help people who need to use this instrument for research or applications in the future. The detailed tests and the performance evaluation of the different functionalities show the usability and possible limitations of each function. We mainly divide the experiment into the existing functions of the HoloLens 1, the new functions of the HoloLens 2, and the use of research mode. This research results will be useful for MR researchers who want to use HoloLens 2 as a research tool to design their own MR applications.

연구 동기 및 목표

• 헬로우렌즈 2의 혼합현실 연구 플랫폼으로서의 기능적 능력과 한계를 평가하는 것.
• 헬로우렌즈 1과의 비교를 통해 헬로우렌즈 2의 센서 및 기능 성능 향상을 정량화하는 것.
• 저수준 센서 데이터(가시광선, 적외선, 깊이, IMU) 접근을 위한 신규 연구 모드의 사용성 및 정확도를 평가하는 것.
• Azure 공간 앵커링의 다기기 및 다세션 간 공간 일관성에 대한 신뢰성을 평가하는 것.
• 헬로우렌즈 2에서 MR 애플리케이션 또는 센서 기반 시스템을 개발하는 연구자들을 위한 성능 기준을 제공하는 것.

제안 방법

• 사용자 정의 애플리케이션을 활용해 헬로우렌즈 2에서 제어된 실험을 수행하여 센서 성능 및 기능을 테스트했다.
• 예측된 움직임과 실제 움직임을 비교하여 오차 비율을 사용해 IMU 센서 정확도를 측정했다: $\text{IMUError}(\%) = \frac{1}{N}\sum_{i=1}^{N}\frac{|T_N - P_N|}{T_N}$.
• 기하학적 기준을 사용해 공간 앵커 일관성 평가: $\text{ErrorPercentage}(\%) = \left(\frac{|L_c^s/L_c^l - L_d^s/L_d^l|}{L_c^s/L_c^l} + \frac{|W_c^s/W_c^l - W_d^s/W_d^l|}{W_c^s/W_c^l}\right) \times 100$.
• 다양한 환경에서 여섯 가지의 공간 앵커 생성 및 검색 테스트를 수행하여 일관성 및 오차율을 평가했다.
• 다양한 방향으로 걷기 및 기울임 테스트를 수행하여 동적 운동 조건에서 가속도계 성능을 평가했다.
• X, Y, Z 축을 따라 정밀한 운동 제어를 수행하여 자이로스코프 정확도 및 오차를 측정했다.

실험 결과

연구 질문

• RQ1 헬로우렌즈 2의 센서 성능(가속도계, 자이로스코프, 깊이, 적외선)은 실제 운동 추적에서 헬로우렌즈 1에 비해 어떻게 다른가?
• RQ2 다양한 환경과 기기 세션 간 Azure 공간 앵커링의 정확도와 일관성은 어떠한가?
• RQ3 연구 모드가 저수준 센서 데이터(가시광선, 적외선, 깊이, IMU) 접근을 위한 연구 응용 프로그램에 얼마나 신뢰할 수 있는가?
• RQ4 동적 운동 조건에서 헬로우렌즈 2의 IMU 기반 운동 추적에서 주요 한계와 오차 원인은 무엇인가?
• RQ5 헬로우렌즈 2는 공간 앵커링을 통해 얼마나 다기기 간 공간 협업을 지원하는가?

주요 결과

• Azure 공간 앵커링은 여섯 가지 다른 환경에서 오차 비율이 2% 이하로 나타나 다기기 간 공간 협업에 매우 높은 신뢰성을 보였다.
• 장거리 걷기 동안 IMU 가속도계 오차는 5%를 초과하여 드리프트로 인한 문제를 드러내며, 센서 융합의 필요성을 강조했다.
• 몸체 기울임(90° 전방 및 옆으로 기울임)에 대한 IMU 가속도계 오차는 5% 이하로 유지되어 각도 변화 탐지에서 양호한 성능을 보였다.
• 자이로스코프 회전 오차는 일관되게 낮았으며, 운영 오차 범위 내에 있었으며, 이는 회전 추적 정확도가 매우 높음을 시사했다.
• 헬로우렌즈 2의 시야각과 디스플레이 해상도는 헬로우렌즈 1에 비해 뚜렷이 향상되어 사용자 몰입도와 상호작용 정밀도를 향상시켰다.
• 연구 모드를 통해 C++ API를 통해 가시광선, 적외선, 깊이, IMU 등 여러 센서에 안정적으로 접근할 수 있었으며, 고도화된 센서 기반 애플리케이션 개발을 지원했다.