[论文解读] Here To Stay: Measuring Hologram Stability in Markerless Smartphone Augmented Reality

Tim Scargill, Jiasi Chen+1 more|arXiv (Cornell University)|Sep 29, 2021

Augmented Reality Applications被引用 7

一句话总结

本文提出 HoloMeasure，一款开源应用程序，用于定量测量无标记智能手机增强现实（AR）中全息图的位置漂移和重定位时间。基于 VI-SLAM 的平台（如 ARKit 和 ARCore），研究在 200 多个室内环境中评估了不稳定性，发现常见用户动作下漂移显著（通常 >5cm），凸显了当前姿态追踪在实现稳定 AR 体验方面的关键局限。

ABSTRACT

Markerless augmented reality (AR) has the potential to provide engaging experiences and improve outcomes across a wide variety of industries; the overlaying of virtual content, or holograms, onto a view of the real world without the need for predefined markers provides great convenience and flexibility. However, unwanted hologram movement frequently occurs in markerless smartphone AR due to challenging visual conditions or device movement, and resulting error in device pose tracking. We develop a method for measuring hologram positional errors on commercial smartphone markerless AR platforms, implement it as an open-source AR app, HoloMeasure, and use the app to conduct systematic quantitative characterizations of hologram stability across 6 different user actions, 3 different smartphone models, and over 200 different environments. Our study demonstrates significant levels of spatial instability in holograms in all but the simplest settings, and underscores the need for further enhancements to pose tracking algorithms for smartphone-based markerless AR.

研究动机与目标

• 在真实世界条件下，系统性地测量无标记智能手机 AR 全息图的空间不稳定性。
• 识别设备运动和环境因素如何影响全息图漂移和重定位时间。
• 开发并开源一款工具（HoloMeasure），以实现在多样化环境中的可重复、定量的 AR 稳定性评估。
• 证明当前智能手机 AR 平台在非理想环境中表现出显著的不稳定性，从而损害用户体验。
• 通过提供性能局限的实证数据，为未来 VI-SLAM 算法和 AR 应用设计改进提供建议。

提出的方法

• 开发 HoloMeasure，一款开源 AR 应用程序，用于在商用智能手机 AR 平台上记录设备姿态和全息图位置随时间的变化。
• 在 6 种用户动作（例如，后退行走、暂停）、3 种智能手机型号以及 200 多个室内环境中系统性地开展实验。
• 测量两个关键指标：漂移（原始全息图位置与当前全息图位置之间的欧几里得距离）和重定位时间（跟踪丢失与恢复的持续时间）。
• 使用 ARKit 和 ARCore 内置的姿态追踪与重定位日志功能，捕获实时设备姿态数据。
• 在不同光照、表面纹理和摄像头视角条件下收集数据，以评估环境影响。
• 分析结果，将环境属性（如纹理、反光性、光照）与不稳定性指标相关联。

实验结果

研究问题

• RQ1 在无标记智能手机 AR 中，不同用户动作（例如，后退行走、暂停）下全息图漂移如何变化？
• RQ2 环境因素（如表面纹理、光照、反光性）对全息图稳定性有何影响？
• RQ3 重定位时间如何影响用户在临时跟踪丢失期间对虚拟内容稳定性的感知？
• RQ4 设备型号（例如，iPhone 11 与安卓设备变体）在多大程度上影响漂移幅度和重定位行为？
• RQ5 标准化的开源工具（如 HoloMeasure）能否实现在多样化真实世界场景中的一致性、大规模 AR 稳定性评估？

主要发现

• 在超过一半的测试环境中，全息图漂移超过 5cm，表明在真实使用中存在显著的空间不稳定性。
• 在设备移动或摄像头被遮挡时，频繁观察到重定位时间，导致短暂但具有干扰性的全息图移动。
• 在无纹理、低对比度或反光的环境中，漂移最为明显，而这些环境在室内建筑空间中十分常见。
• 即使在光照良好、纹理丰富的环境中，超过 30% 的情况下漂移仍超过 2cm，表明姿态估计仍存在持续挑战。
• 本研究证实，智能手机 AR 平台（ARKit/ARCore）在典型用户行为下表现出显著的不稳定性，破坏了持久虚拟物体的沉浸感。
• 研究结果强调了迫切需要改进 VI-SLAM 算法和环境感知能力，以提升实际 AR 应用的稳定性。