[论文解读] MatchBench: An Evaluation of Feature Matchers

Jia-Wang Bian, Ruihan Yang+5 more|arXiv (Cornell University)|Aug 7, 2018

Advanced Image and Video Retrieval Techniques参考文献 34被引用 6

一句话总结

该论文提出了MatchBench，这是首个统一的基准，用于评估特征匹配器在匹配能力、对应点充分性以及效率方面的性能。它提出了SP曲线并结合AUC和AP条作为度量指标，使用重新组织的SfM/SLAM数据集进行短基线和长基线的评估，并对最先进匹配器进行了广泛基准测试，从而为实际系统设计和未来研究提供指导。

ABSTRACT

Feature matching is one of the most fundamental and active research areas in computer vision. A comprehensive evaluation of feature matchers is necessary, since it would advance both the development of this field and also high-level applications such as Structure-from-Motion or Visual SLAM. However, to the best of our knowledge, no previous work targets the evaluation of feature matchers while they only focus on evaluating feature detectors and descriptors. This leads to a critical absence in this field that there is no standard datasets and evaluation metrics to evaluate different feature matchers fairly. To this end, we present the first uniform feature matching benchmark to facilitate the evaluation of feature matchers. In the proposed benchmark, matchers are evaluated in different aspects, involving matching ability, correspondence sufficiency, and efficiency. Also, their performances are investigated in different scenes and in different matching types. Subsequently, we carry out an extensive evaluation of different state-of-the-art matchers on the benchmark and make in-depth analyses based on the reported results. This can be used to design practical matching systems in real applications and also advocates the potential future research directions in the field of feature matching.

研究动机与目标

• 为解决评估特征匹配器缺乏标准化基准的问题，而这些匹配器对SfM和视觉SLAM至关重要。
• 建立一个统一的评估框架，从匹配能力、对应点充分性和效率三个方面评估匹配器。
• 从现有的SfM/SLAM数据集中构建一个可重用、可扩展的基准数据集，支持短基线和长基线匹配。
• 对最先进匹配器进行全面评估，以指导实际系统设计并识别未来研究方向。

提出的方法

• 该基准使用现有的SfM/SLAM数据集（例如来自[10, 11, 12]），并将其重新组织为图像对，用于短基线和长基线的评估。
• 提出基于匹配对应点估计正确位姿的SP曲线与AUC得分，用于评估匹配能力。
• 提出AP条以衡量对应点充分性，反映每对图像中正确匹配的数量。
• 评估依赖于两个最先进位姿估计算法来验证匹配器性能，每个匹配器选择表现最佳的算法以确保公平性。
• 该基准设计为可扩展，提供工具将流行的SLAM/SfM数据集重新格式化为MatchBench格式。
• 评估在多种场景下进行，包括室内办公室、室外街道和城市建筑，以确保泛化能力。

实验结果

研究问题

• RQ1 最先进特征匹配器在不同场景和匹配类型（短基线与长基线）下的表现如何？
• RQ2 在实际应用中，匹配精度、对应点数量与计算效率之间的权衡关系是什么？
• RQ3 SP曲线与AP条等不同评估指标与SfM和视觉SLAM系统实际性能的相关性如何？
• RQ4 统一基准能否提升特征匹配器在实际应用中的开发与选择？

主要发现

• GMS以及基于RANSAC的匹配器（如GMS）在长基线匹配中表现优异，其中GMS在对应点充分性方面表现突出。
• FREAK和LATCH等匹配器虽速度较快但匹配精度较低，凸显了效率与鲁棒性之间的权衡。
• SP曲线上的AUC得分提供了可靠的综合性能度量，顶级匹配器如GMS和RepMatch在长基线序列上的AUC得分均超过0.9。
• 对应点充分性（通过AP条衡量）在不同匹配器之间差异显著，其中GAIM和CODE产生了大量正确匹配。
• 基准测试表明，没有单一匹配器在所有度量指标上均占优，表明需要根据任务选择特定匹配器。
• 评估结果表明，位姿估计算法的选择会影响匹配器的排名，但整体趋势保持一致，验证了该基准的可靠性。