[论文解读] Merging real and virtual worlds: An analysis of the state of the art and practical evaluation of Microsoft Hololens

Adrien Coppens|arXiv (Cornell University)|Jun 25, 2017

Augmented Reality ApplicationsComputer Science参考文献 8被引用 21

一句话总结

本硕士论文分析了增强现实（AR）、虚拟现实（VR）和混合现实（MR）的最新技术进展，以微软HoloLens作为领先的AR平台进行了实际评估。论文评估了运动追踪、计算机视觉技术（如SLAM和特征检测）以及AR/VR中的人机交互，最终指出显示、传感器、交互方式和社会接受度方面的局限性，并提出未来研究方向：实现自适应、无处不在的MR体验，并支持AR/VR无缝切换。

ABSTRACT

Achieving a symbiotic blending between reality and virtuality is a dream that has been lying in the minds of many people for a long time. Advances in various domains constantly bring us closer to making that dream come true. Augmented reality as well as virtual reality are in fact trending terms and are expected to further progress in the years to come. This master's thesis aims to explore these areas and starts by defining necessary terms such as augmented reality (AR) or virtual reality (VR). Usual taxonomies to classify and compare the corresponding experiences are then discussed. In order to enable those applications, many technical challenges need to be tackled, such as accurate motion tracking with 6 degrees of freedom (positional and rotational), that is necessary for compelling experiences and to prevent user sickness. Additionally, augmented reality experiences typically rely on image processing to position the superimposed content. To do so, "paper" markers or features extracted from the environment are often employed. Both sets of techniques are explored and common solutions and algorithms are presented. After investigating those technical aspects, I carry out an objective comparison of the existing state-of-the-art and state-of-the-practice in those domains, and I discuss present and potential applications in these areas. As a practical validation, I present the results of an application that I have developed using Microsoft HoloLens, one of the more advanced affordable technologies for augmented reality that is available today. Based on the experience and lessons learned during this development, I discuss the limitations of current technologies and present some avenues of future research.

研究动机与目标

• 分析增强现实（AR）、虚拟现实（VR）和混合现实（MR）技术的当前技术水平。
• 评估微软HoloLens作为AR应用实际平台的技术能力与局限性。
• 研究核心使能技术，如6自由度（6-DoF）运动追踪、图像处理和SLAM，以实现空间感知的AR体验。
• 识别AR/VR普及应用中的关键挑战，包括交互方式、显示质量、传感器性能和社会接受度。
• 提出实现AR与虚拟现实无缝、无处不在融合的未来研究方向。

提出的方法

• 对AR、VR和MR的定义、分类体系及各领域（如医疗、教育和工业）中的现有应用进行了系统性综述。
• 评估了机械、磁力、惯性和光学运动追踪等技术基础，特别关注6自由度（6-DoF）追踪。
• 分析了基于视觉的追踪技术，如模板标记（例如ARToolkit）、自然特征检测（例如Harris、FAST）以及用于环境理解的SLAM。
• 开发了一款基于微软HoloLens的实际AR应用HoloEscape，以测试真实环境下的性能和用户交互。
• 将HoloLens与直接竞争对手及其他MR设备进行对比，评估其硬件、空间感知能力和易用性。
• 通过实际开发和用户测试识别出局限性，重点关注显示质量、传感器精度和交互方式。

实验结果

研究问题

• RQ1 当前AR和VR系统如何实现空间感知和精确的运动追踪，特别是6-DoF追踪？
• RQ2 在实际AR应用中，基于视觉的追踪方法（如SLAM、模板标记和自然特征检测）的优势与劣势是什么？
• RQ3 微软HoloLens在实际AR应用开发中的表现如何？其关键技术与可用性局限性有哪些？
• RQ4 AR/VR可穿戴设备广泛普及的主要障碍是什么，包括社会接受度和硬件限制？
• RQ5 在实现无缝、无处不在的混合现实体验方面，哪些未来研究方向最具前景？

主要发现

• HoloLens通过集成的空间映射和6-DoF追踪技术，能够实现引人入胜的空间感知AR体验，但其视场角和分辨率仍存在局限。
• 基于SLAM和自然特征的视觉追踪技术可实现无标记AR，但在光照变化、纹理缺乏和运动模糊情况下仍易受影响。
• 模板标记可提供可靠的追踪，但需要预设标记，限制了其在真实场景部署中的灵活性。
• 当前AR/VR交互方式仅限于注视、语音和手势，缺乏对复杂意图识别和触觉反馈的稳健支持。
• 由于隐私担忧以及当前可穿戴设备外观不吸引人，社会接受度仍是主要障碍。
• 未来的AR/VR系统必须向自适应、多模态交互方式演进，并支持AR与VR模式之间的无缝切换，以实现无处不在的应用。