[论文解读] Comparing Feature Detectors: A bias in the repeatability criteria, and how to correct it

Ives Rey-Otero, Mauricio Delbracio+1 more|arXiv (Cornell University)|Sep 8, 2014

Advanced Image and Video Retrieval Techniques参考文献 33被引用 5

一句话总结

本文识别出标准可重复性准则在评估特征检测器时存在系统性偏差，该偏差倾向于 favor 产生冗余、重叠检测结果的检测器。为纠正此问题，作者提出一种非冗余可重复性度量方法，考虑描述符重叠情况。通过基准测试表明，当考虑冗余性时，检测器的性能排序——尤其是Hessian基方法——发生显著变化，SIFT与SFOP在新度量下表现更优。

ABSTRACT

Most computer vision application rely on algorithms finding local correspondences between different images. These algorithms detect and compare stable local invariant descriptors centered at scale-invariant keypoints. Because of the importance of the problem, new keypoint detectors and descriptors are constantly being proposed, each one claiming to perform better (or to be complementary) to the preceding ones. This raises the question of a fair comparison between very diverse methods. This evaluation has been mainly based on a repeatability criterion of the keypoints under a series of image perturbations (blur, illumination, noise, rotations, homotheties, homographies, etc). In this paper, we argue that the classic repeatability criterion is biased towards algorithms producing redundant overlapped detections. To compensate this bias, we propose a variant of the repeatability rate taking into account the descriptors overlap. We apply this variant to revisit the popular benchmark by Mikolajczyk et al., on classic and new feature detectors. Experimental evidence shows that the hierarchy of these feature detectors is severely disrupted by the amended comparator.

研究动机与目标

• 识别用于评估关键点检测器的标准可重复性准则中的关键缺陷。
• 证明经典准则系统性地倾向于产生冗余、重叠检测结果的检测器。
• 提出一种考虑描述符重叠的修正可重复性度量，以实现更公平的评估。
• 使用新度量重新评估最先进检测器，并揭示性能排序的变化。
• 通过在所有检测器上使用一致的SIFT描述符进行匹配性能比较，验证新度量的有效性。

提出的方法

• 作者定义了一种改进的可重复性准则，通过引入与每个关键点检测相关联的椭圆区域，量化描述符区域的空间重叠。
• 通过计算对应图像中描述符之间的重叠面积来量化冗余性，并据此调整可重复性率。
• 新度量称为非冗余可重复性，对产生聚集性、重叠性检测结果的检测器施加惩罚。
• 该方法应用于在牛津数据集上对12种最先进检测器的基准测试，所有检测器均使用一致的SIFT描述符进行匹配评估。
• 通过可视化检测图与重叠模式，直观呈现检测器分布与冗余性特征。
• 通过在所有检测器上使用相同描述符比较匹配性能，进行合理性检验，确认新度量与实际匹配结果的一致性。

实验结果

研究问题

• RQ1 标准可重复性准则是否系统性地倾向于产生冗余、重叠检测结果的检测器？
• RQ2 描述符重叠如何影响关键点检测器的性能排名？
• RQ3 一种考虑重叠的改进可重复性度量能否提供更公平、更真实的检测器性能评估？
• RQ4 当评估中纠正冗余性后，检测器的性能排序如何变化？
• RQ5 新度量的结果是否与实际应用中的匹配性能相关？

主要发现

• 经典可重复性准则对产生冗余、重叠检测结果的检测器（如Hessian基与Harris基方法）存在系统性偏差。
• 当考虑描述符重叠时，Hessian基检测器（如HESLAP与HESAFF）的性能排名显著下降。
• 在非冗余可重复性度量下，SIFT与SFOP成为表现最佳的检测器，展现出检测数量与非重叠可重复性之间的优越平衡。
• 在具有强仿射畸变的序列中，尤其是存在视角变化时，MSER在非冗余可重复性中表现最佳。
• SIFT-single变体在所有序列中均优于标准SIFT，建议作为替代方案。
• 新度量与实际匹配性能一致：SIFT与SFOP在非冗余正确匹配数上最高，而EPR与IBR等冗余检测器在惩罚冗余后表现较差。