[论文解读] FreeReg: Image-to-Point Cloud Registration Leveraging Pretrained Diffusion Models and Monocular Depth Estimators

Haiping Wang, Yuan Liu+5 more|arXiv (Cornell University)|Oct 5, 2023

3D Shape Modeling and Analysis被引用 5

一句话总结

FreeReg 提出了一种新颖的图像到点云配准方法，通过利用预训练的扩散模型和单目深度估计器，将模态通过语义和几何特征统一，从而绕过跨模态度量学习。该方法无需任何任务特定的微调，即实现了最先进性能，在公开基准测试中，内点比例提升20.6%，配准召回率提升48.6%。

ABSTRACT

Matching cross-modality features between images and point clouds is a fundamental problem for image-to-point cloud registration. However, due to the modality difference between images and points, it is difficult to learn robust and discriminative cross-modality features by existing metric learning methods for feature matching. Instead of applying metric learning on cross-modality data, we propose to unify the modality between images and point clouds by pretrained large-scale models first, and then establish robust correspondence within the same modality. We show that the intermediate features, called diffusion features, extracted by depth-to-image diffusion models are semantically consistent between images and point clouds, which enables the building of coarse but robust cross-modality correspondences. We further extract geometric features on depth maps produced by the monocular depth estimator. By matching such geometric features, we significantly improve the accuracy of the coarse correspondences produced by diffusion features. Extensive experiments demonstrate that without any task-specific training, direct utilization of both features produces accurate image-to-point cloud registration. On three public indoor and outdoor benchmarks, the proposed method averagely achieves a 20.6 percent improvement in Inlier Ratio, a three-fold higher Inlier Number, and a 48.6 percent improvement in Registration Recall than existing state-of-the-arts.

研究动机与目标

• 为解决由于固有模态差异导致的图像与点云之间鲁棒的跨模态特征匹配挑战。
• 克服现有基于度量学习方法的局限性，这些方法存在收敛性差和泛化能力有限的问题。
• 通过大规模预训练模型的中间特征统一模态，实现零样本图像到点云配准。
• 通过融合扩散模型的语义特征与单目深度估计的几何特征，提升对应关系的准确性。
• 证明直接使用预训练模型即可在 I2P 任务上实现最先进性能，而无需微调。

提出的方法

• 利用深度到图像的扩散模型（如 ControlNet）从深度图生成类似图像的特征，从而在图像与点云之间建立语义一致的特征。
• 从扩散模型编码器中提取中间扩散特征，分别应用于输入的 RGB 图像和从点云中导出的深度图。
• 应用带相互检查的最近邻匹配器，利用这些语义特征建立粗粒度的跨模态对应关系。
• 采用单目深度估计器（如 Zoe-Depth）从 RGB 图像中预测度量深度图，以实现几何特征提取。
• 从预测的深度图中提取几何特征，并将其与从点云导出的深度图中的特征进行匹配。
• 融合得到的稀疏语义对应关系与密集几何对应关系，生成精确的密集像素到点云对应关系。

Figure 1: Left : FreeReg unifies the modalities of images and point clouds, which enables mono-modality matching to build cross-modality correspondences. Right : FreeReg does not require any training on the I2P task and is able to register RGB images to point clouds in both indoor and outdoor scenes

实验结果

研究问题

• RQ1 预训练扩散模型中间特征中的语义一致性是否能实现无需度量学习的鲁棒跨模态对应？
• RQ2 单目深度估计是否能提升通过扩散特征建立的粗粒度对应关系的准确性？
• RQ3 仅使用预训练模型的零样本方法是否能在图像到点云配准中实现最先进性能？
• RQ4 语义与几何特征的融合如何影响在多样化室内与室外场景下的配准准确性？
• RQ5 在使用 Kabsch 或 PnP 进行位姿估计时，深度估计质量对最终配准性能有何影响？

主要发现

• FreeReg 在三个公开基准测试中，平均内点比例相比现有最先进方法提升20.6%，配准召回率提升48.6%。
• 该方法平均产生3.0倍更多的内点对应，显著提升了对应质量。
• 在 KITTI-DC 数据集上，FreeReg 搭配 Kabsch 估计在宽松阈值（10°, 4m）下实现80.1%的配准召回率，优于先前方法。
• FreeReg-D（仅使用扩散特征）在 3DMatch 上实现74.2%的配准召回率，优于全监督基线方法如 LCD 和 I2P-Matr。
• 扩散特征与几何特征的融合使模型即使在重叠面积小、视角变化大、点云稀疏等挑战性情况下，也能实现密集且精确的对应。
• FreeReg 展现出强大的单模态配准能力：在 ScanNet 上实现87.9%的配准召回率，在 3DMatch 上实现94.7%的深度图配准召回率，优于大多数设置下的 FCGF 和 I2P-Matr。

Figure 2: To unify the modalities of point clouds (PCs) and images, I : a straightforward way is to generate RGB images from point clouds by depth-to-image diffusion models. However, the generated images usually have large appearance differences from the query images. II : We find that the intermedi