[论文解读] 6D Object Pose Estimation with Depth Images: A Seamless Approach for Robotic Interaction and Augmented Reality

David Joseph Tan, Nassir Navab+1 more|arXiv (Cornell University)|Sep 5, 2017

Robotics and Sensor-Based Localization参考文献 10被引用 13

一句话总结

本文提出了一种基于深度图像的无缝6D物体位姿估计框架，结合高精度物体检测器与低延迟时间跟踪器（基于随机森林），实现了在杂乱、遮挡及光照变化环境下的实时性能。系统在单核CPU上实现每帧2ms的跟踪延迟，检测f1得分达到99.3%，适用于机器人与增强现实应用。

ABSTRACT

To determine the 3D orientation and 3D location of objects in the surroundings of a camera mounted on a robot or mobile device, we developed two powerful algorithms in object detection and temporal tracking that are combined seamlessly for robotic perception and interaction as well as Augmented Reality (AR). A separate evaluation of, respectively, the object detection and the temporal tracker demonstrates the important stride in research as well as the impact on industrial robotic applications and AR. When evaluated on a standard dataset, the detector produced the highest f1-score with a large margin while the tracker generated the best accuracy at a very low latency of approximately 2 ms per frame with one CPU core: both algorithms outperforming the state of the art. When combined, we achieve a powerful framework that is robust to handle multiple instances of the same object under occlusion and clutter while attaining real-time performance. Aiming at stepping beyond the simple scenarios used by current systems, often constrained by having a single object in absence of clutter, averting to touch the object to prevent close-range partial occlusion, selecting brightly colored objects to easily segment them individually or assuming that the object has simple geometric structure, we demonstrate the capacity to handle challenging cases under clutter, partial occlusion and varying lighting conditions with objects of different shapes and sizes.

研究动机与目标

• 在杂乱、遮挡及光照变化等复杂环境中实现鲁棒的实时6D物体位姿估计。
• 解决现有系统依赖单个物体、无遮挡或几何结构简单的场景的局限性。
• 开发一种双阶段框架，结合物体检测与时间跟踪，实现机器人感知与交互的连续性。
• 确保计算成本低，并兼容消费级深度传感器与标准CPU。
• 支持在工业机器人、增强现实与移动平台上的实际部署，具备实时性能与低内存占用。

提出的方法

• 物体检测器采用滑动窗口方法处理深度图像，利用在合成渲染深度图像上训练的随机森林模型预测6D位姿（3D平移与3D旋转）。
• 时间跟踪器使用随机森林估计连续帧之间的相对6D变换，以检测器输出作为初始化。
• 两个模型均在通过在3D CAD模型周围移动虚拟相机生成的合成深度数据上端到端训练。
• 通过结合RGB与深度图像优化跟踪器，以减少抖动并提升AR应用中的精度。
• 该框架专为仅使用CPU的硬件设计，跟踪器在单核CPU上实现约每帧2ms的处理速度。
• 内存占用被最小化至每物体约40.5 MB，支持在资源受限平台上的部署。

实验结果

研究问题

• RQ1 无缝检测-跟踪流水线是否能在复杂现实条件下实现最先进的准确度与实时性能？
• RQ2 在部分遮挡、杂乱与光照变化场景下，所提框架相较于现有方法表现如何？
• RQ3 基于CPU的系统在不依赖GPU加速的情况下，能否实现低于2ms的低延迟跟踪？
• RQ4 该框架在多样化物体形状与尺寸（包括复杂几何结构与小型物体）上是否具备良好的泛化能力？
• RQ5 在跟踪器中融合RGB与深度数据，如何提升位姿估计的稳定性并减少AR应用中的抖动？

主要发现

• 所提检测器在LineMod数据集上达到99.3%的f1得分，显著优于先前最先进方法（如深度学习方法的97.2%），并展现出对遮挡与杂乱环境的鲁棒性。
• 时间跟踪器在平移上达到亚毫米级精度，旋转上达到亚度级精度，在C&C与AR基准测试中误差最低。
• 在单核CPU上，跟踪器每帧处理时间为1.4–2.2ms，显著优于基于GPU的跟踪器（如PCL的2786.0ms与C&C的132.0ms）。
• 系统在30 fps下仍能同时跟踪最多108个物体，使用8个CPU核心，保持实时性能。
• 该框架每物体仅需40.5 MB内存占用，实现低内存足迹，适用于低成本、功耗受限的硬件。
• 图1的定性结果表明，系统在多种物体（从简单到复杂形状）上均表现出鲁棒性能，涵盖部分遮挡与光照变化等挑战性条件。