[论文解读] HoloLens 2 Technical Evaluation as Mixed Reality Guide

Hung-Jui Guo, Balakrishnan Prabhakaran|arXiv (Cornell University)|Jul 19, 2022

Augmented Reality Applications被引用 11

一句话总结

本文通过系统性基准测试，评估了 HoloLens 2 作为混合现实研究平台的性能，涵盖其传感器、空间锚定及研究模式功能。与 HoloLens 1 对比，HoloLens 2 在视场角、手势追踪、眼动追踪以及传感器精度方面均有显著提升，尤其在空间锚定一致性（误差 < 2%）和低惯性测量单元（IMU）误差（< 5%）方面表现优异，使其成为混合现实应用开发与基于传感器研究的可靠工具。

ABSTRACT

Mixed Reality (MR) is an evolving technology lying in the continuum spanned by related technologies such as Virtual Reality (VR) and Augmented Reality (AR), and creates an exciting way of interacting with people and the environment. This technology is fast becoming a tool used by many people, potentially improving living environments and work efficiency. Microsoft HoloLens has played an important role in the progress of MR, from the first generation to the second generation. In this paper, we systematically evaluate the functions of applicable functions in HoloLens 2. These evaluations can serve as a performance benchmark that can help people who need to use this instrument for research or applications in the future. The detailed tests and the performance evaluation of the different functionalities show the usability and possible limitations of each function. We mainly divide the experiment into the existing functions of the HoloLens 1, the new functions of the HoloLens 2, and the use of research mode. This research results will be useful for MR researchers who want to use HoloLens 2 as a research tool to design their own MR applications.

研究动机与目标

• 评估 HoloLens 2 作为混合现实研究平台的功能能力与局限性。
• 将 HoloLens 2 的传感器与功能与 HoloLens 1 进行基准对比，量化性能提升。
• 评估新研究模式在访问低层级传感器数据（可见光、红外、深度、IMU）方面的可用性与准确性。
• 评估 Azure 空间锚点在跨设备与跨会话场景下的空间一致性可靠性。
• 为在 HoloLens 2 上开发混合现实应用或基于传感器系统的研究人员提供性能基准。

提出的方法

• 在 HoloLens 2 上通过自定义应用程序开展受控实验，测试传感器性能与功能。
• 使用误差百分比衡量 IMU 传感器精度：$\text{IMUError}(\%) = \frac{1}{N}\sum_{i=1}^{N}\frac{|T_N - P_N|}{T_N}$，比较预测运动与实际运动的差异。
• 采用几何基准评估空间锚定一致性：$\text{ErrorPercentage}(\%) = \left(\frac{|L_c^s/L_c^l - L_d^s/L_d^l|}{L_c^s/L_c^l} + \frac{|W_c^s/W_c^l - W_d^s/W_d^l|}{W_c^s/W_c^l}\right) \times 100$。
• 在六个不同环境中测试空间锚点的创建与检索，评估其一致性和错误率。
• 开展多方向行走与倾斜测试，评估加速度计在动态运动下的性能表现。
• 在 X、Y 和 Z 轴上执行旋转测试，测量陀螺仪在受控运动下的精度与误差。

实验结果

研究问题

• RQ1 在真实世界运动追踪场景下，HoloLens 2 的传感器性能（加速度计、陀螺仪、深度、红外）相较于 HoloLens 1 如何？
• RQ2 Azure 空间锚点在不同环境与设备会话中的准确度与一致性如何？
• RQ3 HoloLens 2 的研究模式在访问低层级传感器数据（可见光、红外、深度、IMU）方面对研究应用而言是否可靠？
• RQ4 HoloLens 2 在动态运动下基于 IMU 的运动追踪中，关键限制因素与误差来源是什么？
• RQ5 HoloLens 2 在多平台空间协作方面，通过空间锚点的支持程度如何？

主要发现

• Azure 空间锚点在六个不同环境中均表现出高度一致性，误差百分比低于 2%，表明其在跨设备空间协作中具有强可靠性。
• 在长时间行走过程中，IMU 加速度计误差超过 5%，主要由于漂移问题，凸显了传感器融合的必要性。
• 在身体前倾（90°）及侧向倾斜运动中，IMU 加速度计误差保持在 5% 以下，表明其在角度变化检测方面表现良好。
• 陀螺仪旋转误差始终较低，且在操作误差范围内，表明其在旋转追踪方面具有高精度。
• HoloLens 2 的视场角与显示分辨率相比 HoloLens 1 显著提升，增强了用户沉浸感与交互保真度。
• 研究模式通过 C++ API 稳定支持多传感器（可见光、红外、深度、IMU）访问，为高级传感器应用开发提供了支持。