[论文解读] D3Feat: Joint Learning of Dense Detection and Description of 3D Local Features

Xuyang Bai, Zixin Luo+4 more|arXiv (Cornell University)|Mar 6, 2020

Robotics and Sensor-Based Localization参考文献 38被引用 27

一句话总结

D3Feat 提出了一种基于 KPConv 的全卷积网络联合学习框架，用于密集 3D 局部特征检测与描述，实现端到端、快速推理。它引入了一种密度不变的关键点选择策略，并采用基于实时特征匹配的自监督检测损失，使在 3DMatch 和 KITTI 数据集上达到最先进性能，具有更高的重复性和准确性，尤其在使用较少关键点时表现更优。

ABSTRACT

A successful point cloud registration often lies on robust establishment of sparse matches through discriminative 3D local features. Despite the fast evolution of learning-based 3D feature descriptors, little attention has been drawn to the learning of 3D feature detectors, even less for a joint learning of the two tasks. In this paper, we leverage a 3D fully convolutional network for 3D point clouds, and propose a novel and practical learning mechanism that densely predicts both a detection score and a description feature for each 3D point. In particular, we propose a keypoint selection strategy that overcomes the inherent density variations of 3D point clouds, and further propose a self-supervised detector loss guided by the on-the-fly feature matching results during training. Finally, our method achieves state-of-the-art results in both indoor and outdoor scenarios, evaluated on 3DMatch and KITTI datasets, and shows its strong generalization ability on the ETH dataset. Towards practical use, we show that by adopting a reliable feature detector, sampling a smaller number of features is sufficient to achieve accurate and fast point cloud alignment.[code release](https://github.com/XuyangBai/D3Feat)

研究动机与目标

• 为解决 3D 特征检测器与描述子学习之间的不平衡问题，通过联合训练两个组件。
• 克服 3D 点云中密度变化带来的挑战，避免关键点检测偏向稀疏区域。
• 开发一种基于实时特征匹配的自监督损失，用于检测器训练，以提升关键点的可靠性与重复性。
• 利用共享的全卷积架构，实现检测分数与描述子的快速密集预测。
• 在最小化关键点采样数量的前提下，展示在室内（3DMatch）和室外（KITTI, ETH）数据集上的强泛化能力。

提出的方法

• 基于 KPConv 的全卷积网络直接处理非结构化 3D 点云，实现每个点的检测分数与特征描述子的密集预测。
• 计算一种新颖的密度不变显著性分数，确保在不同点云密度区域中保持一致的关键点选择。
• 引入一种自监督检测损失，利用训练过程中实时特征匹配的可靠性来指导检测分数预测。
• 检测头与描述子头共享权重，实现高效联合推理，无需双分支架构。
• 通过在应用密度不变显著性变换后对检测分数进行局部极大值搜索来选择关键点。
• 采用联合损失函数进行端到端训练，结合描述子对比损失与所提出的自监督检测损失。

实验结果

研究问题

• RQ1 与单独训练相比，3D 特征检测与描述的联合学习是否能提升配准精度？
• RQ2 如何使关键点检测对 3D 点云中的密度变化具有鲁棒性？
• RQ3 基于实时特征匹配的自监督损失是否能有效指导检测器训练，而无需真实关键点标注？
• RQ4 共享的全卷积架构是否能实现比基于图像块或双分支网络更快、更高效的推理？
• RQ5 所提方法是否能在包括室内与室外场景在内的多样化 3D 数据集上实现良好泛化？

主要发现

• D3Feat 在 3DMatch 数据集上达到最先进性能，其检测与描述质量均优于先前方法。
• 在 KITTI 数据集上，D3Feat 展现出强泛化能力，即使使用更少关键点也取得优越结果，且在关键点重复性方面优于大多数基线方法。
• 所提出的自监督检测损失可实现收敛并提升关键点可靠性，与基线 D3Feat(base) 相比，重复性更高。
• 密度不变的关键点选择策略显著提升了重复性，尤其在稀疏区域，有效减少了对低密度区域的偏差。
• 仅使用 64 个关键点，D3Feat 的配准精度即超过使用更多关键点的方法，证明了所学习检测器的有效性。
• 可视化结果表明，D3Feat 在包括复杂室内与室外环境在内的多样化场景中，能检测到更多显著且可重复的关键点。