[论文解读] 6-PACK: Category-level 6D Pose Tracker with Anchor-Based Keypoints

Chen Wang, Roberto Martín-Martín+6 more|arXiv (Cornell University)|Oct 23, 2019

Robotics and Sensor-Based Localization参考文献 45被引用 12

一句话总结

6-PACK 提出了一种无监督、基于锚点的关键点检测网络，用于在 RGB-D 视频中进行类别级 6D 物体位姿跟踪，实现了无需已知 3D 模型的新型实例的实时、鲁棒跟踪。该方法在 NOCS-REAL275 基准上达到最先进性能，在 5°5cm 指标上超越先前方法超过 15%，并实现了 10Hz 下的实时机器人操作任务。

ABSTRACT

We present 6-PACK, a deep learning approach to category-level 6D object pose tracking on RGB-D data. Our method tracks in real-time novel object instances of known object categories such as bowls, laptops, and mugs. 6-PACK learns to compactly represent an object by a handful of 3D keypoints, based on which the interframe motion of an object instance can be estimated through keypoint matching. These keypoints are learned end-to-end without manual supervision in order to be most effective for tracking. Our experiments show that our method substantially outperforms existing methods on the NOCS category-level 6D pose estimation benchmark and supports a physical robot to perform simple vision-based closed-loop manipulation tasks. Our code and video are available at https://sites.google.com/view/6packtracking.

研究动机与目标

• 解决在无需预存 3D 模型的情况下，对已知类别中新型物体实例进行位姿跟踪的挑战。
• 通过学习紧凑且具有判别性的 3D 关键点，提升在杂乱、遮挡和视觉变化条件下的 6D 位姿跟踪鲁棒性与效率。
• 利用 RGB-D 数据实现实时性能（10Hz），以部署于实际机器人。
• 通过基于关键点的位姿估计利用时间一致性，克服基于检测的跟踪方法的局限性。

提出的方法

• 引入基于锚点的机制，在先前估计的物体位姿周围生成 3D 关键点候选区域，类似于 2D 目标检测中的区域提议。
• 以无监督方式训练深度神经网络，检测一组数量较少的 3D 关键点，使其在不同物体实例间具有紧凑性和判别性，适用于跟踪。
• 通过连续帧之间的关键点匹配，利用最小二乘优化估计相对 6D 位姿变化。
• 随时间累积相对位姿变化以估计绝对 6D 位姿，避免直接回归，从而提升稳定性。
• 利用时间一致性减少漂移，提升长序列中的鲁棒性。
• 使用 RGB-D 输入回归 3D 关键点位置，并通过几何约束在帧间匹配关键点。

实验结果

研究问题

• RQ1 无监督关键点检测网络能否学习到在同类新实例间具有泛化能力的紧凑且鲁棒的 3D 三维地标？
• RQ2 与像素级或密集关键点回归相比，基于锚点的关键点生成是否能提升跟踪的鲁棒性与效率？
• RQ3 通过累积相对位姿变化的基于关键点的跟踪器是否在类别级跟踪中优于基于检测的 6D 位姿估计？
• RQ4 此类跟踪器是否能在长时间序列中保持高精度与稳定性，尤其是在初始位姿获取之后？
• RQ5 该方法是否可在实际机器人上实现实时部署，用于闭环操作任务？

主要发现

• 6-PACK 在使用 8 个关键点的情况下，于笔记本电脑类别上实现了 62.4% 的 5°5cm 指标准确率，优于 4 关键点（55.2%）和 16 关键点（48.6%）的变体，表明信息与冗余之间存在最优平衡。
• 在 NOCS-REAL275 基准上，6-PACK 在 5°5cm 指标上领先第二名方法 NOCS 15.1 个百分点，在 IoU25 指标上领先 12.0 个百分点。
• 该跟踪器表现出高度稳定性，评估序列中 IoU25 值始终高于 94%，表明极少发生跟踪失败；而 KeypointNet 在 50.3% 的试验中失败。
• 性能随时间缓慢下降，即使在 100 帧后，6-PACK 的准确率仍比 NOCS 高出超过 10%，证明其具有更优的时间鲁棒性。
• 该方法在 GTX1070 GPU 上以 10Hz 的速度运行，GPU 显存占用低于 2GB，支持在 Toyota HSR 机器人上实现实时部署。
• 在真实机器人试验中，6-PACK 在超过 60% 的试验中成功跟踪了物体，并仅依赖位姿跟踪反馈即实现了基于视觉的操作（如倒液、投掷）。”