[论文解读] Alignment of the Virtual Scene to the Tracking Space of a Mixed Reality Head-Mounted Display

Ehsan Azimi, Qian Long+2 more|arXiv (Cornell University)|Mar 16, 2017

Augmented Reality ApplicationsComputer Science被引用 21

一句话总结

本文提出了一种黑箱校准方法，用于将光学透视式增强现实头戴设备（OST-HMD）的虚拟场景坐标系与追踪系统的坐标空间对齐，通过用户对齐计算出的3D投影矩阵实现。该方法将平均重投影误差控制在4 mm以内，并引入了一种仅需四次对齐而非20次的更快捷多点校准方法，显著提升了混合现实应用中的可用性与准确性。

ABSTRACT

With the mounting global interest for optical see-through head-mounted displays (OST-HMDs) across medical, industrial and entertainment settings, many systems with different capabilities are rapidly entering the market. Despite such variety, they all require display calibration to create a proper mixed reality environment. With the aid of tracking systems, it is possible to register rendered graphics with tracked objects in the real world. We propose a calibration procedure to properly align the coordinate system of a 3D virtual scene that the user sees with that of the tracker. Our method takes a blackbox approach towards the HMD calibration, where the tracker's data is its input and the 3D coordinates of a virtual object in the observer's eye is the output; the objective is thus to find the 3D projection that aligns the virtual content with its real counterpart. In addition, a faster and more intuitive version of this calibration is introduced in which the user simultaneously aligns multiple points of a single virtual 3D object with its real counterpart; this reduces the number of required repetitions in the alignment from 20 to only 4, which leads to a much easier calibration task for the user. In this paper, both internal (HMD camera) and external tracking systems are studied. We perform experiments with Microsoft HoloLens, taking advantage of its self localization and spatial mapping capabilities to eliminate the requirement for line of sight from the HMD to the object or external tracker. The experimental results indicate an accuracy of up to 4 mm in the average reprojection error based on two separate evaluation methods. We further perform experiments with the internal tracking on the Epson Moverio BT-300 to demonstrate that the method can provide similar results with other HMDs.

研究动机与目标

• 为解决光学透视式HMD中虚拟场景与真实世界追踪坐标对齐这一关键挑战，这是实现逼真混合现实体验所必需的。
• 开发一种与HMD内部参数无关的校准方法，将HMD视为黑箱，仅依赖追踪系统输入与虚拟场景输出。
• 通过引入仅需四次对齐而非20次的多点对齐技术，减少用户疲劳并提升校准效率。
• 通过利用HoloLens的自定位与空间映射能力，实现无需视线约束的校准。
• 通过外部测量系统与一种新型的Double-Cube-Match方法，提供一种稳健、客观的HMD校准评估框架。

提出的方法

• 该方法将HMD视为黑箱：输入为追踪数据（例如来自外部或内部追踪系统），输出为用户感知到的虚拟物体的3D坐标。
• 通过计算3D到3D的投影矩阵，将追踪系统的坐标系映射到虚拟场景的坐标系，以校正真实内容与虚拟内容之间的错位。
• 核心技术采用迭代最近点（ICP）或类似优化方法，最小化多个对齐步骤中真实点与虚拟点之间的重投影误差。
• 提出一种新型多点校准变体，可同时对单个虚拟物体上的多个3D点进行对齐，将所需重复次数从20次减少至4次。
• 该方法在Microsoft HoloLens上进行了验证，使用其内部追踪与空间映射功能，无需依赖外部追踪器的视线对准。
• 采用外部测量系统（例如动作捕捉系统）通过Double-Cube-Match评估方法客观评估校准精度。

实验结果

研究问题

• RQ1 尽管存在设备特异的内部变换，如何实现光学透视式HMD中虚拟场景与追踪空间之间的一致且精确的对齐？
• RQ2 黑箱校准方法是否能够消除对HMD内部参数（如投影矩阵）访问的需求？
• RQ3 与传统单点方法相比，多点对齐技术在多大程度上减少了用户操作负担并提升了校准速度？
• RQ4 在动态或遮挡环境中，该方法在重投影误差与用户感知精度方面的表现如何？
• RQ5 现代HMD（如HoloLens）的自定位与空间映射功能是否可被利用以消除校准过程中的视线约束？

主要发现

• 所提出的校准方法实现了高达4 mm的平均重投影误差，证明了其在虚拟内容与真实物体对齐方面的高精度。
• 多点校准变体将所需对齐步骤从20次减少至仅4次，显著提升了可用性并减少了用户疲劳。
• 该方法成功消除了HMD与外部追踪器之间视线对准的需求，通过利用HoloLens的自定位与空间映射能力实现。
• Double-Cube-Match评估方法提供了客观、独立的校准精度评估，降低了HMD评估中的主观性。
• 该方法在不同HMD设备（包括HoloLens与Epson Moverio BT-300）上均表现出可比性能，证实了其在不同平台间的通用性。
• 结果表明，平均位移误差接近4 mm，证实了本研究中所采用的两种评估方法之间的一致性。