[论文解读] Large scale evaluation of local image feature detectors on homography datasets

Karel Lenc, Andrea Vedaldi|arXiv (Cornell University)|Jul 20, 2018

Advanced Image and Video Retrieval Techniques参考文献 25被引用 17

一句话总结

本文提出了 HPSequences，一个用于通过同调标注图像序列评估局部图像特征检测器的大规模基准。它提出了一种改进的重复性评估协议，减少了对特征数量和尺度的依赖，表明尽管深度学习提升了光照不变性，但传统检测器在视角不变性方面依然具有很强的竞争力。

ABSTRACT

We present a large scale benchmark for the evaluation of local feature detectors. Our key innovation is the introduction of a new evaluation protocol which extends and improves the standard detection repeatability measure. The new protocol is better for assessment on a large number of images and reduces the dependency of the results on unwanted distractors such as the number of detected features and the feature magnification factor. Additionally, our protocol provides a comprehensive assessment of the expected performance of detectors under several practical scenarios. Using images from the recently-introduced HPatches dataset, we evaluate a range of state-of-the-art local feature detectors on two main tasks: viewpoint and illumination invariant detection. Contrary to previous detector evaluations, our study contains an order of magnitude more image sequences, resulting in a quantitative evaluation significantly more robust to over-fitting. We also show that traditional detectors are still very competitive when compared to recent deep-learning alternatives.

研究动机与目标

• 解决缺乏一种现代、大规模的基准来独立于描述子评估局部特征检测器的问题。
• 通过降低对特征数量和放大倍数因子的敏感性，改进标准重复性度量。
• 实现对不同成像条件（如视角和光照变化）下检测器的更公平、更稳健的比较。
• 为未来局部特征检测研究提供可复现的开源评估框架。
• 评估经典手工设计检测器和现代基于深度学习的检测器在真实世界挑战中的性能。

提出的方法

• 通过引入一种归一化、尺度不变的度量方式，扩展标准重复性评估协议，以控制每幅图像中检测到的特征数量。
• 使用 HPatches 数据集（称为 HPSequences）及其完整图像和真实同调矩阵，评估检测器在视角（HP-V）和光照（HP-I）序列上的表现。
• 引入一种新的聚合方法，通过单幅图可视化所有图像对的重复性分布，实现在检测器之间的定量比较。
• 引入简单基线（如随机特征检测器）以建立性能下限。
• 采用改进的重复性计算方法，使用椭圆重叠而非关键点中心距离，以实现更准确的相似性评估。
• 发布开源代码和预计算得分，以确保可复现性并促进未来基准测试。

实验结果

研究问题

• RQ1 与标准重复性度量相比，所提出的评估协议在公平性和鲁棒性方面有何改进？
• RQ2 基于深度学习的检测器在视角不变性和光照不变性方面，相较于传统手工设计检测器的性能优势有多大？
• RQ3 检测器在不同图像序列中的性能和稳定性如何变化，这些序列具有不同程度的视角和光照变化？
• RQ4 尽管学习型检测器兴起，传统检测器是否仍能在具有挑战性的几何场景中实现高重复性？
• RQ5 随机特征检测器的基线性能如何？它如何帮助解释重复性得分？

主要发现

• TILDE-T 检测器在光照序列（HP-I）上实现了最高的重复性，表明其对光照变化具有极强的鲁棒性。
• 在视角不变性（HP-V）方面，Hes-A 检测器整体表现最佳，而 TILDE-T 和 DNet-S 在特定极端情况下表现出色的互补性。
• 传统检测器如 Hes-A 和 BRISK 在包括 VGG、Webcam 和 Hannover 在内的多个数据集上均保持了超过 80% 的平均重复性，表明其具有强大的泛化能力。
• 顶尖检测器在不同阈值下的检测得分稳定性最高，大多数稳定性误差低于 10%；而 BRISK 和 RAND-T 表现出较差的可预测性。
• 尽管深度学习技术不断进步，但具有尺度选择和仿射自适应能力的传统检测器在视角不变性方面仍几乎与学习型检测器同样有效。
• 所提出的评估协议显著降低了因数据规模较大（696 个图像序列 vs. VGG Affine 的 48 个）带来的过拟合风险，从而产生更可靠、更具泛化能力的结果。