[论文解读] L6DNet: Light 6 DoF Network for Robust and Precise Object Pose Estimation with Small Datasets

Mathieu Gonzalez, Amine Kacete+2 more|arXiv (Cornell University)|Feb 3, 2020

Robot Manipulation and Learning参考文献 44被引用 16

一句话总结

L6DNet 提出了一种基于单张 RGB-D 图像的两阶段混合方法，用于 6 DoF 物体位姿估计。该方法通过级联的卷积神经网络（CNN）预测相机坐标系下的 3D 关键点位置，随后通过几何配准计算最终位姿。该方法在 LineMod 数据集上实现了最先进（SOTA）的精度表现，并实现了高精度与鲁棒性的实时视觉伺服控制，尤其在小样本数据集和无纹理物体上表现优异。

ABSTRACT

Estimating the 3D pose of an object is a challenging task that can be considered within augmented reality or robotic applications. In this paper, we propose a novel approach to perform 6 DoF object pose estimation from a single RGB-D image. We adopt a hybrid pipeline in two stages: data-driven and geometric respectively. The data-driven step consists of a classification CNN to estimate the object 2D location in the image from local patches, followed by a regression CNN trained to predict the 3D location of a set of keypoints in the camera coordinate system. To extract the pose information, the geometric step consists in aligning the 3D points in the camera coordinate system with the corresponding 3D points in world coordinate system by minimizing a registration error, thus computing the pose. Our experiments on the standard dataset LineMod show that our approach is more robust and accurate than state-of-the-art methods. The approach is also validated to achieve a 6 DoF positioning task by visual servoing.

研究动机与目标

• 解决在存在遮挡、无纹理物体及光照变化等复杂场景下，实现高精度与鲁棒性 6 DoF 物体位姿估计的挑战。
• 通过几何配准将关键点预测与位姿计算解耦，克服端到端深度学习方法的局限性。
• 在小规模训练数据集上实现高精度位姿估计，降低对大规模标注数据的依赖。
• 设计一种对图像变化具有鲁棒性的方法，适用于视觉伺服等实时机器人应用。

提出的方法

• 采用两阶段流程：第一阶段为数据驱动的关键点预测，第二阶段通过 3D-3D 配准实现位姿计算。
• 首先，使用分类 CNN 处理局部图像块，估计 2D 物体位置，以实现关键点回归的选区优化。
• 随后，使用回归 CNN 从 RGB-D 图像块中预测相机坐标系下稀疏关键点的 3D 坐标。
• 通过跨多个图像块的投票机制，将多个 3D 关键点假设聚合为一个更鲁棒的估计结果。
• 通过最小化预测的相机空间点与物体关键点在世界坐标系中已知 3D 坐标之间的 3D-3D 配准误差，计算最终 6 DoF 位姿。
• 采用轻量化网络结构，结合小感受野与低步长的图像块提取策略，以兼顾速度与精度。

实验结果

研究问题

• RQ1 在小样本数据集约束下，混合学习-几何方法是否能优于端到端深度学习方法？
• RQ2 在相机坐标系中预测 3D 关键点并求解 3D-3D 配准，是否比 2D-3D 对应关系或直接位姿回归具有更高的精度？
• RQ3 基于图像块的投票策略在提升无纹理或被遮挡物体的鲁棒性与精度方面效果如何？
• RQ4 与仅使用 RGB 输入相比，引入深度信息在多大程度上提升了关键点回归与位姿估计的性能？
• RQ5 该方法是否能在机器人操作的视觉伺服任务中实现实时性能与稳定性？

主要发现

• 在 LineMod 数据集上，L6DNet 使用 RGB 仅输入实现了 96.9% 的平均 ADD-S 精度，使用 RGB-D 输入则达到 96.7%，表明其在数据有限条件下仍具备强大性能。
• 对于钻头（driller）物体，当图像块大小为 32×32、步长为 4 像素时，ADD-S 精度达到 98.7%，推理时间低于 525 ms。
• 投票机制显著提升了精度：使用单个 80×80 图像块时，大猩猩（ape）物体的 ADD-S 精度仅为 44.2%，而使用多个图像块时提升至 78.2%。
• 该方法实现了高精度的视觉伺服控制，经过 120 次迭代后，最终误差为 ∆r = (1.2mm, -1.6mm, -0.4mm, -0.09°, -0.18°, 0.07°)，表明相机控制稳定且精确。
• 推理时间随图像块大小增加而上升，80×80 图像块时达到峰值 634.9 ms，但精度在 64×64 处达到峰值后开始下降，表明存在最优图像块尺寸的权衡。
• 深度信息对部分物体（如 cam、drill）的性能有提升作用，但对其他物体影响较小；在某些纹理下，仅使用 RGB 的图像块反而更具判别力。