[论文解读] Comprehensive Tracker Based Display Calibration for Holographic Optical See-Through Head-Mounted Display

Long Qian, Ehsan Azimi+2 more|arXiv (Cornell University)|Mar 16, 2017

Augmented Reality Applications参考文献 21被引用 23

一句话总结

本文提出了一种全息光学透视式头戴显示器（OST-HMD）的新型校准方法，通过使用等距、仿射和透视变换，将渲染坐标与外部追踪数据对齐。借助外部追踪器实现的自定位与空间映射，该方法将平均重投影误差降低至4 mm，是首个明确考虑显示技术全息特性的方法。

ABSTRACT

A holographic display system is able to offer an immersive 3D experience with a controllable focus cue that matches the depth information of virtual content. Proper calibration of an OST-HMD must take into account the specific features of that HMD. Existing calibration methods, however, cannot fully capture the optical characteristics of holographic display systems. With the aid of tracking systems, it is possible to register rendered graphics with tracked objects in the real world, providing an augmented reality experience for the users. We propose a new calibration procedure to properly align the coordinate system of rendering with that of the tracker. In this paper, both internal and external tracking systems are studied; three models of the mapping from tracking space to display space are presented: isometric, affine and perspective transformation. Experimental results demonstrate the validity of our method. Additionally, in a novel approach, the implementation uses self localization and spatial mapping of the HMD with an external tracker to perform this calibration, eliminating the requirement for line of sight from the HMD to the object or tracker. Microsoft HoloLens is used as the holographic OST-HMD for our experiments. The experimental results indicate an accuracy of up to 4 mm in the average reprojection error for the general perspective case and similarly 4 mm in our objective evaluation. To the best of our knowledge, this is the first OST-HMD calibration method that takes the holographic nature of the display technology into account.

研究动机与目标

• 解决现有校准方法中缺乏针对全息显示系统独特光学特性的校准方法的问题。
• 克服现有校准技术在捕捉全息显示固有的深度与聚焦线索方面存在的局限性。
• 在无需HMD与追踪器之间保持视线直连的前提下，实现渲染虚拟内容与真实世界物体的精确对齐。
• 开发一种基于追踪器的校准框架，支持多种几何映射（等距、仿射、透视），以实现灵活且精确的配准。
• 以Microsoft HoloLens为测试平台，验证该方法的可行性与精度。

提出的方法

• 利用外部追踪系统，实时提供HMD在世界坐标系中的位姿数据。
• 通过自定位与空间映射技术，估计HMD的位置与朝向，而无需与追踪目标保持直接视线连接。
• 采用三种几何模型（等距、仿射、透视）对从追踪空间到显示空间的变换进行建模。
• 将这些变换应用于将虚拟内容与场景中的物理物体对齐，确保精确的空间配准。
• 通过最小化投影虚拟点与其对应真实世界位置之间的重投影误差来完成系统校准。
• 在真实世界设置中使用Microsoft HoloLens验证该方法，对比三种变换模型的性能结果。

实验结果

研究问题

• RQ1 如何校准全息OST-HMD，以在考虑其独特光学特性的情况下，实现虚拟内容与真实世界物体的精确对齐？
• RQ2 哪些几何变换模型（等距、仿射、透视）能在追踪空间与显示空间之间实现最精确的配准？
• RQ3 是否可以在无需HMD与追踪目标之间保持视线直连的前提下实现校准，从而提升真实场景部署的灵活性？
• RQ4 在校准过程中显式建模显示技术的全息特性时，可实现的重投影误差水平是多少？
• RQ5 与现有校准技术相比，该方法在全息显示的精度与鲁棒性方面表现如何？

主要发现

• 所提出的校准方法在一般透视变换情况下实现了4 mm的平均重投影误差，表现出高精度。
• 通过采用自定位与空间映射技术，成功消除了HMD与追踪目标之间必须保持视线直连的需求。
• 三种变换模型——等距、仿射与透视——均得到验证，其中透视模型表现出最优的对齐性能。
• 该方法是首个在OST-HMD校准中显式考虑显示技术全息特性的方法，填补了当前方法中的关键空白。
• 客观评估证实，在所有测试条件下平均重投影误差稳定保持在4 mm，验证了该方法的鲁棒性。