[论文解读] AffineGlue: Joint Matching and Robust Estimation

Dániel Baráth, Dmytro Mishkin+4 more|arXiv (Cornell University)|Jul 28, 2023

Face and Expression Recognition被引用 4

一句话总结

AffineGlue 提出了一种联合特征匹配与鲁棒估计框架，利用一对一多对应关系和单点最小解算器，降低组合复杂度并提升鲁棒性。通过采用一种新颖的1-仿射对应关系（1AC）解算器（结合重力先验）和神经拒绝头，该方法实现了最先进性能，在 PhotoTourism 上将 AUC@10° 提升了 6.6 个百分点，并使 SuperPoint+SuperGlue 在 ScanNet 上达到与 LoFTR 相当的精度。

ABSTRACT

We propose AffineGlue, a method for joint two-view feature matching and robust estimation that reduces the combinatorial complexity of the problem by employing single-point minimal solvers. AffineGlue selects potential matches from one-to-many correspondences to estimate minimal models. Guided matching is then used to find matches consistent with the model, suffering less from the ambiguities of one-to-one matches. Moreover, we derive a new minimal solver for homography estimation, requiring only a single affine correspondence (AC) and a gravity prior. Furthermore, we train a neural network to reject ACs that are unlikely to lead to a good model. AffineGlue is superior to the SOTA on real-world datasets, even when assuming that the gravity direction points downwards. On PhotoTourism, the AUC@10° score is improved by 6.6 points compared to the SOTA. On ScanNet, AffineGlue makes SuperPoint and SuperGlue achieve similar accuracy as the detector-free LoFTR.

研究动机与目标

• 为解决传统一对一匹配在低内点率场景下的不稳定性，特别是在重复图案和宽基线条件下。
• 通过用基于仿射对应关系的单点最小解算器替代多点最小解算器，降低鲁棒估计的组合复杂度。
• 通过整合重力先验和对低质量仿射对应关系的神经拒绝机制，提升相对位姿与单应矩阵估计的鲁棒性与精度。
• 在不依赖无检测器架构的前提下，使标准特征检测器与匹配器（如 SuperPoint+SuperGlue）实现最先进性能。
• 证明通过引导采样从一对一多对应关系中生成的联合匹配与估计方法，优于传统的基于 RANSAC 的流水线。

提出的方法

• AffineGlue 从 SuperPoint 等特征检测器和 SuperGlue 等描述符中构建一对一多对应关系，降低匹配中的歧义性。
• 采用一种新颖的最小解算器，仅使用一个仿射对应关系（1AC）和重力先验来估计单应矩阵，显著降低解算器复杂度。
• 训练一个神经网络以在模型估计前拒绝低质量的仿射对应关系，提升鲁棒性与收敛性。
• 通过引导采样，基于估计模型迭代选择一致的内点一对一匹配，实现精确评分与优化。
• 通过单点解算器进行迭代假设生成与验证，避免使用多点最小解算器。
• 整合重力先验（假设方向向下），即使实际重力方向存在误差（如 ScanNet 上误差达 24.8°），也能稳定 1AC 解算器。

实验结果

研究问题

• RQ1 一对一多对应关系是否能在模糊或重复图案下提升特征匹配的鲁棒性？
• RQ2 基于仿射对应关系与重力先验的单点最小解算器是否能优于传统多点解算器在单应矩阵估计中的表现？
• RQ3 通过引导采样实现的联合匹配与鲁棒估计是否能优于传统的顺序匹配与 RANSAC 流水线？
• RQ4 对仿射对应关系的端到端学习拒绝头是否能提升模型质量并减少运行时间？
• RQ5 当重力先验在真实数据中仅为粗略近似时，其对性能的影响程度如何？

主要发现

• 在 PhotoTourism 上，与之前最先进方法相比，AffineGlue 将 AUC@10° 提升了 6.6 个百分点，达到 58.1% AUC。
• 在 ScanNet 上，AffineGlue 使 SuperPoint+SuperGlue 的性能达到与无检测器架构 LoFTR 相当的水平，AUC@20° 达到 89.2%。
• 在 HPatches 上，1AC+重力解算器结合神经拒绝机制，相比第二好的方法，AUC@1° 提升了 5 个百分点。
• AffineGlue 支持实时推理，平均推理时间在 PhotoTourism 上为 0.04 秒（单应矩阵估计）和 0.09 秒（位姿估计）。
• 在 PhotoTourism 上，SuperPoint 与 SuperGlue 及 AffNet 的组合，即使 HardNet 并未在仿射特征上进行训练，仍比 DoG+HardNet 提升 1.5–2.5 个 AUC 点。
• 即使在 ScanNet 上重力先验存在 24.8° 的误差，该方法仍保持鲁棒性，表明对不精确先验知识具有强容忍能力。