[论文解读] LoFTR: Detector-Free Local Feature Matching with Transformers

Jiaming Sun, Zehong Shen+3 more|arXiv (Cornell University)|Apr 1, 2021

Advanced Image and Video Retrieval Techniques参考文献 42被引用 75

一句话总结

LoFTR 提出 detector-free（无探测器）、密集局部特征匹配，使用 Transformer 自注意力和跨注意力来建立密集对应，达到姿态估计和视觉定位的 state-of-the-art 结果。它使用粗到细的细化和一个线性 Transformer 变体以提高效率。

ABSTRACT

We present a novel method for local image feature matching. Instead of performing image feature detection, description, and matching sequentially, we propose to first establish pixel-wise dense matches at a coarse level and later refine the good matches at a fine level. In contrast to dense methods that use a cost volume to search correspondences, we use self and cross attention layers in Transformer to obtain feature descriptors that are conditioned on both images. The global receptive field provided by Transformer enables our method to produce dense matches in low-texture areas, where feature detectors usually struggle to produce repeatable interest points. The experiments on indoor and outdoor datasets show that LoFTR outperforms state-of-the-art methods by a large margin. LoFTR also ranks first on two public benchmarks of visual localization among the published methods.

研究动机与目标

• 避免传统基于探测器的匹配因子带来的可重复性问题，通过消除探测器阶段并直接进行密集匹配来实现。
• 利用 Transformer 的全局感受野，在低纹理或重复区域产生可靠匹配。
• 引入具高效注意力的粗到细匹配流程以实现可扩展性。
• 在室内和室外数据集上展示相对姿态估计与视觉定位的最先进性能。

提出的方法

• 从图像对的 CNN 骨干提取带 FPN 的粗粒度与细粒度局部特征。
• 通过 Local Feature Transformer (LoFTR) 对粗特征进行变换，使用交错的自注意力与跨注意力层。
• 使用线性注意力变体实现注意力的 O(N) 复杂度。
• 用最优传输或对偶 softmax 计算粗粒度匹配概率，然后筛选高置信度的匹配。
• 通过局部窗口相关性为粗匹配的子像素精度进行细化（粗到细）。
• 以粗粒度（基于置信度）和细粒度（带不确定性加权的 L2）损失进行监督。

Figure 1: Comparison between the proposed method LoFTR and the detector-based method SuperGlue [ 37 ] . This example demonstrates that LoFTR is capable of finding correspondences on the texture-less wall and the floor with repetitive patterns, where detector-based methods struggle to find repeatable

实验结果

研究问题

• RQ1 探测器无关的密集匹配通过 Transformer 能否在低纹理或重复区域产生鲁棒对应？
• RQ2 与基于探测器和其他无探测器方法相比，粗到细、基于 Transformer 的方法是否能提升相对位姿估计与视觉定位？
• RQ3 在线性注意力与常规注意力相比，对性能与效率有何影响？
• RQ4 粗粒度与细粒度监督如何共同贡献整体匹配精度？

主要发现

• LoFTR 在多个人室内外数据集上实现相对于姿态估计和视觉定位的最先进性能。
• 探测器无关设计在不明显的区域以及低纹理、运动模糊、重复模式等挑战条件下也能产生高质量匹配。
• 基于 Transformer 的全局感受野使得密集匹配超越传统依赖探测器的先验，较基线取得显著性能提升。
• 粗到细的精细化提升将定位精度提高到亚像素级。
• LoFTR 结合 dual-softmax 或最优传输，在 HPatches、ScanNet、MegaDepth、VisLoc 等基准测试上取得强劲结果；在两个公开的视觉定位基准上位列第一。

Figure 2: Overview of the proposed method. LoFTR has four components: 1. A local feature CNN extracts the coarse-level feature maps $\tilde{F}^{A}$ and $\tilde{F}^{B}$ , together with the fine-level feature maps $\hat{F}^{A}$ and $\hat{F}^{B}$ from the image pair $I^{A}$ and $I^{B}$ (Section 3.1 ).