[论文解读] Rotation-Invariant Transformer for Point Cloud Matching

Hao Yu, Zheng Qin+5 more|arXiv (Cornell University)|Mar 14, 2023

Image Processing and 3D Reconstruction被引用 4

一句话总结

RoITr 通过将点对特征（PPF）嵌入自注意力机制，提出了一种旋转不变的 Transformer 模型，用于点云匹配，实现了内在的、与姿态无关的几何编码。它引入了一种基于注意力的编码器-解码器架构，具备旋转不变的全局跨帧空间感知能力，在 3DLoMatch 基准测试中，于大角度旋转条件下，其内点率和配准召回率相比 SOTA 方法提升了 13–5 个百分点。

ABSTRACT

The intrinsic rotation invariance lies at the core of matching point clouds with handcrafted descriptors. However, it is widely despised by recent deep matchers that obtain the rotation invariance extrinsically via data augmentation. As the finite number of augmented rotations can never span the continuous SO(3) space, these methods usually show instability when facing rotations that are rarely seen. To this end, we introduce RoITr, a Rotation-Invariant Transformer to cope with the pose variations in the point cloud matching task. We contribute both on the local and global levels. Starting from the local level, we introduce an attention mechanism embedded with Point Pair Feature (PPF)-based coordinates to describe the pose-invariant geometry, upon which a novel attention-based encoder-decoder architecture is constructed. We further propose a global transformer with rotation-invariant cross-frame spatial awareness learned by the self-attention mechanism, which significantly improves the feature distinctiveness and makes the model robust with respect to the low overlap. Experiments are conducted on both the rigid and non-rigid public benchmarks, where RoITr outperforms all the state-of-the-art models by a considerable margin in the low-overlapping scenarios. Especially when the rotations are enlarged on the challenging 3DLoMatch benchmark, RoITr surpasses the existing methods by at least 13 and 5 percentage points in terms of Inlier Ratio and Registration Recall, respectively.

研究动机与目标

• 解决由于外部数据增强导致的深度点云匹配器在未见旋转下的不稳定性问题。
• 在不依赖旋转增强训练的前提下，实现局部几何编码的内在旋转不变性。
• 通过以旋转不变方式建模跨帧空间关系，提升特征的区分度。
• 通过新颖的全局 Transformer 设计，提升在低重叠度和非刚性匹配场景下的鲁棒性。
• 克服现有方法在全局上下文丢失或难以有效建模复杂空间关系方面的局限性。

提出的方法

• 提出一种基于 PPF 的注意力机制（PPF 注意力机制，PAM），通过 PPF 衍生的坐标编码局部几何，且与姿态无关。
• 设计一种基于注意力的编码器-解码器架构（PPFTrans），包含注意力抽象层（AAL）、PPF 注意力层（PAL）和过渡上采样层（TUL），实现分层的、旋转不变的特征学习。
• 提出一种具有旋转不变跨帧空间感知的全局 Transformer，利用自注意力机制建模点云之间的相对位置关系，且不依赖姿态信息。
• 将全局 Transformer 集成以捕捉跨帧的长程空间依赖关系，从而增强特征的区分度。
• 采用端到端训练，使用对比损失优化对应匹配，利用内在不变性降低对数据增强的依赖。
• 采用多尺度抽象策略，结合可学习注意力机制，在保留几何结构的同时聚合特征。

实验结果

研究问题

• RQ1 基于 PPF 坐标的自注意力机制是否能在局部点云几何编码中实现内在旋转不变性？
• RQ2 基于注意力的编码器-解码器架构与 PointNet 或 KPConv 相比，在学习具有代表性且姿态无关的局部特征方面表现如何？
• RQ3 旋转不变的跨帧空间感知在多大程度上提升了特征的区分度和匹配的鲁棒性？
• RQ4 RoITr 在极端旋转和低重叠度条件下表现如何，尤其与基于数据增强的 SOTA 方法相比？
• RQ5 全局 Transformer 的深度和架构对点云匹配任务的性能与泛化能力有何影响？

主要发现

• 在旋转后的 3DLoMatch 基准上，RoITr 实现了 89.6% 的特征匹配召回率（FMR）和 53.2% 的配准召回率（RR），在 RR 指标上相比次优方法至少提升 5 个百分点。
• 在包含大角度旋转的 3DLoMatch 基准上，RoITr 相比最强基线方法，将内点率提升了 13 个百分点。
• 消融实验表明，PPF 基础注意力机制在准确率和效率上均显著优于最大池化/平均池化以及 PointTransformer 的注意力机制。
• 具备旋转不变空间感知的全局 Transformer 相比缺乏此类感知的 GeoTrans，性能提升了 2.5–3.5%。
• 当全局 Transformer 的数量超过三个时，性能出现下降，表明存在一个最优深度以实现最佳泛化能力。
• 即使在参数量归一化后，RoITr 仍保持卓越性能，表明其在参数效率上优于 PointTransformer 和基于 KPConv 的基线方法。