[论文解读] DGC-GNN: Leveraging Geometry and Color Cues for Visual Descriptor-Free 2D-3D Matching

Shuzhe Wang, Juho Kannala+1 more|arXiv (Cornell University)|Jun 21, 2023

Robotics and Sensor-Based Localization被引用 4

一句话总结

DGC-GNN 提出了一种无需描述符的 2D-3D 匹配方法，通过全局到局部的图神经网络（GNN）融合几何与颜色线索，并利用基于聚类的变换器引导局部匹配。该方法实现了最先进性能，将先前最优的无描述符方法（GoMatch）的准确率提升了一倍，并显著缩小了与基于描述符方法之间的差距。

ABSTRACT

Matching 2D keypoints in an image to a sparse 3D point cloud of the scene without requiring visual descriptors has garnered increased interest due to its low memory requirements, inherent privacy preservation, and reduced need for expensive 3D model maintenance compared to visual descriptor-based methods. However, existing algorithms often compromise on performance, resulting in a significant deterioration compared to their descriptor-based counterparts. In this paper, we introduce DGC-GNN, a novel algorithm that employs a global-to-local Graph Neural Network (GNN) that progressively exploits geometric and color cues to represent keypoints, thereby improving matching accuracy. Our procedure encodes both Euclidean and angular relations at a coarse level, forming the geometric embedding to guide the point matching. We evaluate DGC-GNN on both indoor and outdoor datasets, demonstrating that it not only doubles the accuracy of the state-of-the-art visual descriptor-free algorithm but also substantially narrows the performance gap between descriptor-based and descriptor-free methods.

研究动机与目标

• 为解决无描述符 2D-3D 匹配方法的局限性，包括鲁棒性差以及与基于描述符的方法相比性能下降的问题。
• 探究仅靠几何线索是否足以在几何上存在歧义的场景中实现可靠匹配。
• 通过在分层的、全局到局部的 GNN 框架中整合几何与颜色信息，提升匹配的鲁棒性。
• 降低在 3D 场景模型中存储高维视觉描述符所导致的内存占用和隐私风险。
• 开发一种在不同室内和室外场景以及关键点检测器上均能保持性能的通用方法。

提出的方法

• 该方法采用全局到局部的 GNN，首先通过基于聚类的变换器编码全局几何与颜色特征，形成几何嵌入。
• 计算距离-角度嵌入以在粗粒度层级上捕捉关键点之间的欧氏距离与角度关系。
• 通过全局嵌入引导局部匹配，采用聚类机制限制局部聚类内的信息流动。
• 网络将 RGB 颜色特征与几何坐标融合，并使用可学习的注意力机制优化局部点表示。
• 模型端到端训练以预测 2D-3D 对应关系，无需视觉描述符，采用可微分的几何优化方法。
• 使用 K-Means 和 Mean-Shift 聚类进行全局聚类分配，消融实验验证了对聚类算法选择的鲁棒性。

Figure 1 : 2D-3D matching (shown by green lines) with the proposed DGC-GNN and GoMatch [ 54 ] . In this example, DGC-GNN obtains 78 correct matches with 0.02 meters camera translation and 0.24 ∘ rotation errors, while GoMatch finds only 17 inliers with a pose error of 0.37 meters and 4.37 ∘ .

实验结果

研究问题

• RQ1 仅靠几何线索是否能可靠地区分 2D-3D 匹配中相似结构？还是需要额外的颜色信息？
• RQ2 如何有效编码并利用全局几何结构，以在无描述符设置下引导局部匹配？
• RQ3 在不损害隐私或增加内存开销的前提下，引入颜色信息是否能提升匹配准确率？
• RQ4 当使用相同的 3D 点云时，无描述符方法的性能与基于描述符的方法相比如何？
• RQ5 所提出的方法能否在不同数据集、关键点检测器和场景类型间实现良好泛化？

主要发现

• DGC-GNN 在室内和室外数据集上，将最先进无描述符方法 GoMatch 的准确率提升了一倍。
• 在 7Scenes 数据集上，当在 ScanNet 上训练并在 SIFT 上评估时，DGC-GNN 实现了 1.43 cm 的中位数平移误差和 13.43° 的旋转误差，优于 GoMatch。
• 该模型显著缩小了无描述符方法与基于描述符方法之间的性能差距，在姿态估计中达到接近最先进水平的准确率。
• 消融实验表明，几何嵌入（G. Emb.）优于基于标签的嵌入（G. Label），凸显了几何线索在全局表征中的重要性。
• 该方法对不同聚类算法（K-Means 与 Mean-Shift）具有鲁棒性，仅观察到微小的性能差异。
• 该模型在不同数据集和关键点检测器间泛化良好，使用 SuperPoint 替代 SIFT 时仅出现轻微性能下降。

Figure 2 : Pipeline overview. For keypoints from the 2D image and 3D points from the point cloud, the proposed DGC-GNN (1) considers the bearing vectors and the color at each bearing vector as input. (2) It extracts the point-wise position and color features with two separate encoders and mixes the