[论文解读] ASpanFormer: Detector-Free Image Matching with Adaptive Span Transformer

Hongkai Chen, Zixin Luo+7 more|arXiv (Cornell University)|Aug 30, 2022

Advanced Neural Network Applications被引用 6

一句话总结

ASpanFormer 提出了一种无需检测器的图像匹配方法，采用具有自适应注意力感受野的分层 Transformer 模型，其感受野会根据光流不确定性动态调整。通过回归光流图并估计不确定性以确定上下文大小，该方法在姿态估计和视觉定位基准测试中达到最先进性能，优于基于检测器和先前的无检测器方法。

ABSTRACT

Generating robust and reliable correspondences across images is a fundamental task for a diversity of applications. To capture context at both global and local granularity, we propose ASpanFormer, a Transformer-based detector-free matcher that is built on hierarchical attention structure, adopting a novel attention operation which is capable of adjusting attention span in a self-adaptive manner. To achieve this goal, first, flow maps are regressed in each cross attention phase to locate the center of search region. Next, a sampling grid is generated around the center, whose size, instead of being empirically configured as fixed, is adaptively computed from a pixel uncertainty estimated along with the flow map. Finally, attention is computed across two images within derived regions, referred to as attention span. By these means, we are able to not only maintain long-range dependencies, but also enable fine-grained attention among pixels of high relevance that compensates essential locality and piece-wise smoothness in matching tasks. State-of-the-art accuracy on a wide range of evaluation benchmarks validates the strong matching capability of our method.

研究动机与目标

• 为解决基于 Transformer 的图像匹配中固定感受野注意力的局限性，特别是在无纹理或遮挡区域的表现问题。
• 通过直接从原始图像预测密集对应关系并利用更丰富的上下文信息，消除对关键点检测器的依赖。
• 通过基于局部匹配不确定性的自适应注意力感受野调整，提升匹配精度与定位性能。
• 在长距离全局上下文感知与细粒度局部注意力之间实现平衡，以应对多样化匹配场景下的鲁棒性能需求。

提出的方法

• 引入一种分层全局-局部注意力（GLA）模块，该模块在低分辨率下执行粗粒度全局注意力，在高分辨率下执行细粒度局部注意力。
• 在每个交叉注意力阶段使用光流回归，以预测局部注意力的搜索区域中心。
• 基于光流预测参数（均值与方差）使用概率高斯模型估计像素级不确定性。
• 根据不确定性自适应调整注意力感受野大小：在高置信度、有纹理区域使用较小感受野，在不确定或无纹理区域使用较大感受野。
• 采用可微分损失函数，联合优化光流准确率与不确定性估计，促使高置信度预测的不确定性降低。
• 在光流预测中心周围使用采样网格，其感受野大小由估计的不确定性决定，以聚焦于相关区域。

实验结果

研究问题

• RQ1 与固定大小或全局注意力相比，自适应注意力感受野是否能提升在无纹理或遮挡区域的匹配精度？
• RQ2 在具有挑战性的场景下，不确定性感知的上下文选择如何影响基于 Transformer 的图像匹配的鲁棒性？
• RQ3 无检测器的端到端匹配网络在两视图姿态估计任务中，能在多大程度上超越最先进水平的基于检测器的方法？
• RQ4 所提出的不确定性驱动注意力机制是否能在包括真实世界和合成数据集在内的多样化基准上实现良好泛化？

主要发现

• 在 YFCC100M 基准上，ASpanFormer 在两视图姿态估计任务中达到 44.5% 的 AUC，优于 LoFTR（42.4%）及其他 SOTA 基线方法。
• 在 IMC 2022 基准上，ASpanFormer 达到 0.838 mAA（私有）和 0.833 mAA（公开），优于 QuadTree 注意力（0.817/0.812）和 LoFTR（0.783/0.772）。
• 定性结果表明，模型在有纹理区域使用小感受野实现更集中的注意力，而在不确定或遮挡区域则使用更大感受野，有效避免了误匹配。
• 光流图在 GLA 模块的迭代过程中逐步变得更加准确，并逐渐剔除非重叠区域，表明特征表示得到持续优化。
• 不确定性热力图与自适应感受野显示，模型在低纹理或模糊区域分配了更大的上下文感受野，从而提升了鲁棒性。
• 该方法在无需关键点检测的情况下实现了密集且高精度的对应匹配，证明其在极端条件（如大视角变化和重复图案）下的有效性。