[论文解读] Instant 3D Object Tracking with Applications in Augmented Reality
本文提出了一种用于移动增强现实应用的实时、免标定3D物体追踪系统，该系统使用单阶段卷积神经网络（CNN）实时检测并估计物体的3D边界框，随后通过平面追踪器实现9自由度（DoF）姿态追踪（位置、方向、缩放），且推理频率极低。该系统通过将检测任务高效地卸载至GPU、将追踪任务交由CPU处理，在移动设备上实现了26+ FPS的性能，从而实现了无需预先标定或物体模型的即时、鲁棒且高效的追踪。
Tracking object poses in 3D is a crucial building block for Augmented Reality applications. We propose an instant motion tracking system that tracks an object's pose in space (represented by its 3D bounding box) in real-time on mobile devices. Our system does not require any prior sensory calibration or initialization to function. We employ a deep neural network to detect objects and estimate their initial 3D pose. Then the estimated pose is tracked using a robust planar tracker. Our tracker is capable of performing relative-scale 9-DoF tracking in real-time on mobile devices. By combining use of CPU and GPU efficiently, we achieve 26-FPS+ performance on mobile devices.
研究动机与目标
- 在移动设备上实现无需预先标定或特定物体模型的实时、即时3D物体追踪，以支持增强现实应用。
- 通过检测加追踪的框架减轻由深度学习检测噪声引起的3D姿态估计抖动。
- 仅使用RGB输入和标准移动硬件，实现鲁棒的9自由度（位置、方向、缩放）追踪。
- 开发一种高效、低延迟的系统，适用于真实世界增强现实应用的部署。
- 实现对未见过的、类别级物体的追踪，而无需CAD模型或形状标注。
提出的方法
- 采用MobileNetV2主干网络的单阶段CNN，从单张RGB图像中联合完成检测、分割和3D边界框回归。
- 网络预测3D边界框8个顶点在图像中的2D投影，并利用EPnP算法恢复完整的3D姿态（至比例尺度）。
- 系统通过将3D顶点和中心点投影到2D，初始化追踪过程，随后使用鲁棒的6自由度平面追踪器追踪这9个关键点。
- 追踪器运行在CPU上，保持时间一致性，从而减少抖动，并允许检测器仅每隔几帧运行一次。
- 通过追踪得到的2D点使用EPnP更新姿态估计，实现在后续帧中相对尺度的9自由度追踪。
- 基于IoU重叠度融合检测与追踪结果，以提升系统鲁棒性与一致性。
实验结果
研究问题
- RQ1基于深度学习的系统是否能在移动设备上实现无需预先标定或物体模型的实时3D物体追踪？
- RQ2如何减轻3D姿态估计中由检测噪声引起的抖动，以支持稳定的增强现实应用？
- RQ3在移动硬件上结合低频CNN推理时，平面追踪器是否能有效维持9自由度姿态追踪？
- RQ4该系统在无CAD模型支持下，对未见过的、类别级物体的追踪性能有多强鲁棒性？
- RQ5在面向移动设备优化的端到端3D追踪流水线中，准确率与效率之间的权衡如何？
主要发现
- 在移动GPU上检测速度达到26.5 FPS，在CPU上追踪速度超过30 FPS，使搭载Snapdragon 865的三星S20等设备实现真正的实时性能。
- 3D物体检测器在0.5 3D IoU下的平均精度为0.59，模型大小仅为5.54MB。
- 检测加追踪框架通过基于IoU的融合策略整合检测与追踪结果，有效减少抖动并提升时间一致性。
- 系统实现低延迟的即时追踪，无需引入视差的运动或复杂的初始化流程。
- 在典型增强现实场景下，只要物体保持在平面表面且不发生显著滚动或方向模糊，追踪器表现鲁棒。
- 该方法成功实现了对未见过物体的追踪，无需事先了解其形状或CAD模型，展现出对类别级实例的良好泛化能力。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。