[论文解读] Instant Motion Tracking and Its Applications to Augmented Reality

Jianing Wei, Genzhi Ye+4 more|arXiv (Cornell University)|Jul 16, 2019

Augmented Reality Applications参考文献 16被引用 6

一句话总结

本文提出了一种无需校准、可在移动设备上实现的实时运动追踪系统，利用共享的运动分析模块，实现无需初始化或视差要求的鲁棒平面目标追踪与相对尺度的6自由度（6DoF）追踪。该系统结合视觉区域追踪与惯性传感器数据（陀螺仪和加速度计），实现跨数亿台设备的即时、精准增强现实（AR）内容定位，平均性能达27.5 FPS。

ABSTRACT

Augmented Reality (AR) brings immersive experiences to users. With recent advances in computer vision and mobile computing, AR has scaled across platforms, and has increased adoption in major products. One of the key challenges in enabling AR features is proper anchoring of the virtual content to the real world, a process referred to as tracking. In this paper, we present a system for motion tracking, which is capable of robustly tracking planar targets and performing relative-scale 6DoF tracking without calibration. Our system runs in real-time on mobile phones and has been deployed in multiple major products on hundreds of millions of devices.

研究动机与目标

• 实现在移动设备上无需用户动作初始化的即时、免校准AR内容定位。
• 解决平面场景、纯旋转及无用户运动等退化追踪情况。
• 通过视觉平移估计与惯性旋转估计，实现对任意物体的鲁棒6DoF追踪。
• 在多样化的移动硬件上实现高可扩展性的实时性能。

提出的方法

• 运动分析模块随时间提取并追踪特征，将其分类为前景或背景，并利用能拟合数据的自由度最高的模型（从2DoF到8DoF）估计时序一致的相机运动模型。
• 区域追踪使用迭代重加权最小二乘法（IRLS）将参数模型拟合到加权运动向量，实现在帧间对区域的鲁棒追踪。
• 在平面目标追踪中，使用透视变换而非单应性矩阵，通过Levenberg-Marquardt优化求解3D刚体变换，避免引入扭曲伪影。
• 在6DoF追踪中，使用针孔相机模型从视觉区域运动估计平移，而旋转则直接从设备的陀螺仪获取。
• 系统将视觉平移估计与惯性旋转数据融合，并利用加速度计估计“向上”方向以实现初始姿态对齐。
• 在初始化时计算一个规范的全局方向，即使区域移出视野后重新出现，也能实现一致的姿态估计。

实验结果

研究问题

• RQ1 运动追踪系统能否在无需校准或初始化的情况下，实现对任意物体的鲁棒6DoF姿态估计？
• RQ2 如何提升平面目标追踪的准确性，并有效缓解单应性矩阵引起的扭曲伪影？
• RQ3 视觉与惯性数据能否有效融合，实现在移动设备上实时、免校准的6DoF追踪？
• RQ4 在纯旋转或平面场景等退化情况下，如何实现鲁棒的追踪？
• RQ5 此类系统在真实世界AR应用中，跨多样化移动硬件的性能与可扩展性如何？

主要发现

• 系统在415台以上不同移动设备上实现平均27.5 FPS的实时性能，支持在主流AR应用中大规模部署。
• 通过使用透视变换替代单应性矩阵，系统显著减少了平面目标追踪中的扭曲伪影，长期保持几何准确性。
• 视觉平移与惯性旋转的融合实现了无需校准的鲁棒6DoF追踪，支持在任意表面上即时放置AR内容。
• 即使区域移动出相机视场，系统仍能成功追踪移动或静止的区域，并具备重新捕获能力。
• 在平面场景、纯旋转及用户运动极少等退化情况下，系统表现优于传统SLAM与基于单应性的方法。
• 该系统已在全球数亿台设备上投入生产，展示了在真实AR应用场景中极高的可靠性与可扩展性。