[论文解读] CoFiNet: Reliable Coarse-to-fine Correspondences for Robust Point Cloud Registration

Hao Yu, Lin Fu+3 more|arXiv (Cornell University)|Oct 26, 2021

3D Shape Modeling and Analysis参考文献 49被引用 95

一句话总结

CoFiNet 提出了一种检测无关、从粗到细的框架，学习层级对应关系以实现鲁棒的三维点云配准，在具有更少参数的情况下超越最先进方法，特别是在低重叠场景下。

ABSTRACT

We study the problem of extracting correspondences between a pair of point clouds for registration. For correspondence retrieval, existing works benefit from matching sparse keypoints detected from dense points but usually struggle to guarantee their repeatability. To address this issue, we present CoFiNet - Coarse-to-Fine Network which extracts hierarchical correspondences from coarse to fine without keypoint detection. On a coarse scale and guided by a weighting scheme, our model firstly learns to match down-sampled nodes whose vicinity points share more overlap, which significantly shrinks the search space of a consecutive stage. On a finer scale, node proposals are consecutively expanded to patches that consist of groups of points together with associated descriptors. Point correspondences are then refined from the overlap areas of corresponding patches, by a density-adaptive matching module capable to deal with varying point density. Extensive evaluation of CoFiNet on both indoor and outdoor standard benchmarks shows our superiority over existing methods. Especially on 3DLoMatch where point clouds share less overlap, CoFiNet significantly outperforms state-of-the-art approaches by at least 5% on Registration Recall, with at most two-third of their parameters.

研究动机与目标

• 在不依赖可重复的关键点检测的前提下，推动鲁棒的点云配准。
• 引入粗到细的对应框架，以缩小用于 refinement 的搜索空间。
• 开发一个密度感知、可微分的 refinement 模块，以产生点级对应。
• 证明在重叠度引导下的粗尺度节点匹配可提高 recall 和鲁棒性。
• 在室内和室外基准测试中，使用更少参数实现更优性能。

提出的方法

• 对稠密点云进行下采样，得到均匀分布的节点，使用共享的 KPConv 编码器并学习联合节点特征。
• 使用带自注意力、跨注意力和自注意力的 Correspondence Proposal Block 生成下采样节点之间的粗略相似性矩阵，并对其应用带 slack 条目的 Sinkhorn 优化，以获得粗粒度的节点对应。
• 将增强后的特征解码为密集点描述子以供 refinement。
• 通过点到节点分组将粗粒度节点提案扩展为补丁，并应用密度自适应匹配模块，通过在补丁内求解可微分的最优传输问题来细化对应。
• 计算联合粗到细损失：L = Lc + λLf，并对粗糙的重叠感知加权和细粒度密度感知 refinement 提供专门监督。

实验结果

研究问题

• RQ1 一个粗到细、检测无关的流水线是否可以提高用于配准的 3D 点对应的重复性和鲁棒性？
• RQ2 以重叠引导的粗匹配是否可以缩小搜索空间并在不牺牲精度的情况下提高效率？
• RQ3 一个密度感知的 refinement 模块是否能在不同点密度下提供可靠的点级对应？
• RQ4 在室内(3DMatch、3DLoMatch)和室外(KITTI)基准上，尤其在低重叠情况下，CoFiNet 相对于最先进方法的表现如何？
• RQ5 当使用更少但更高质量的对应关系时，参数效率和消融分析有哪些洞见？

主要发现

• CoFiNet 在室内外基准上实现了优越的 Registration Recall 和 Feature Matching Recall，尤其是在重叠受限的 3DLoMatch 上。
• 该方法比竞争方法使用显著更少的参数，同时提供强劲的性能。
• 即使在较少的对应关系下，CoFiNet 仍给出较高的 Inlier Ratios，表明置信分数经过良好校准。
• 密度自适应 refinement 模块在补丁内对不同点密度具有鲁棒性，提升了点级对应的准确性。
• 粗粒度重叠权重机制有效缩小 refinement 的搜索空间，在低重叠场景中提升鲁棒性。