[论文解读] G2L-Net: Global to Local Network for Real-time 6D Pose Estimation with Embedding Vector Features

Wei Chen, Xi Jia+3 more|arXiv (Cornell University)|Mar 24, 2020

Robot Manipulation and Learning参考文献 46被引用 9

一句话总结

G2L-Net 是一种基于 RGB-D 数据的实时 6D 物体位姿估计框架，采用从全局到局部的流水线设计，利用 3D 球体实现紧凑的 3D 搜索，通过逐点嵌入向量特征（EVF）捕捉视角感知信息，并采用旋转残差估计器对旋转预测进行优化。该方法在精度和速度方面均达到当前最先进水平，在 GTX 1080 Ti 上实现 23 fps 的推理速度，并在 LINEMOD 和 YCB-Video 数据集上超越了以往基于深度的方法。

ABSTRACT

In this paper, we propose a novel real-time 6D object pose estimation framework, named G2L-Net. Our network operates on point clouds from RGB-D detection in a divide-and-conquer fashion. Specifically, our network consists of three steps. First, we extract the coarse object point cloud from the RGB-D image by 2D detection. Second, we feed the coarse object point cloud to a translation localization network to perform 3D segmentation and object translation prediction. Third, via the predicted segmentation and translation, we transfer the fine object point cloud into a local canonical coordinate, in which we train a rotation localization network to estimate initial object rotation. In the third step, we define point-wise embedding vector features to capture viewpoint-aware information. To calculate more accurate rotation, we adopt a rotation residual estimator to estimate the residual between initial rotation and ground truth, which can boost initial pose estimation performance. Our proposed G2L-Net is real-time despite the fact multiple steps are stacked via the proposed coarse-to-fine framework. Extensive experiments on two benchmark datasets show that G2L-Net achieves state-of-the-art performance in terms of both accuracy and speed.

研究动机与目标

• 解决在复杂场景中利用深度信息实现高精度、实时 6D 物体位姿估计的挑战。
• 克服仅使用 RGB 的方法对光照和遮挡敏感的局限性。
• 通过新颖的特征表示，更好地利用视角信息，提升基于深度的位姿估计性能。
• 采用残差估计策略，在不牺牲推理速度的前提下提升旋转预测的准确性。

提出的方法

• 网络使用 3D 球体代替圆锥体（frustum）来定位物体点云，将 3D 搜索空间压缩至更紧凑的区域。
• 通过翻译定位网络执行 3D 分割，并从粗略点云中估计物体的平移。
• 将分割并平移后的点云转换至局部规范坐标系，以增强视角感知的特征学习。
• 引入逐点嵌入向量特征（EVF），以捕捉物体各点间详细的、与视角相关的特征信息。
• 应用旋转残差估计器，通过学习预测旋转与真实旋转之间的差异，对初始旋转预测进行优化。
• 整个流水线针对实时推理进行优化，在单张 GPU 上实现超过 20 fps 的推理速度。

实验结果

研究问题

• RQ1 全局到局部的网络设计是否能同时提升基于 RGB-D 数据的 6D 物体位姿估计的精度与速度？
• RQ2 与全局点特征相比，逐点嵌入向量特征在捕捉视角感知信息方面是否更有效？
• RQ3 旋转残差估计器是否能在不降低推理速度的前提下显著提升旋转预测的准确性？
• RQ4 与传统的基于圆锥体的方法相比，基于 3D 球体的物体定位在紧凑性和性能方面表现如何？
• RQ5 所提出的方法在多物体场景（如 YCB-Video 数据集）中是否仍能保持高精度？

主要发现

• 在 LINEMOD 数据集上，G2L-Net 达到 93.0% 的平均 ADD 精度，比基线方法 Frustum-P 高出 5.4%，比第二好的基于深度的方法高出 2.4%。
• 在 LINEMOD 数据集上，G2L-Net 的推理速度为 21 fps，约为第二好的基于深度方法的 3 倍。
• 在 YCB-Video 数据集上，G2L-Net 达到 92.4% 的 AUC 精度，与最佳性能方法持平，且推理速度最快，达到 21 fps。
• 旋转残差估计器对精度提升有显著贡献，尤其在形状复杂或纹理低的物体上表现更优。
• 在 GTX 1080 Ti GPU 上，该方法实现 23 fps 的推理速度，其中 2D 检测耗时 11ms，位姿估计耗时 32ms，充分证明了其具备实时性能。