[论文解读] AdaLAM: Revisiting Handcrafted Outlier Detection

Luca Cavalli, Viktor Larsson+3 more|arXiv (Cornell University)|Jun 7, 2020

Robotics and Sensor-Based Localization参考文献 42被引用 7

一句话总结

AdaLAM 提出了一种新颖的、高度可并行化的图像匹配异常值过滤方法，结合了分层空间验证与自适应阈值化处理局部仿射变换。该方法在准确率和速度方面均达到当前最先进水平——在现代 GPU 上，每对图像处理 8,000 个匹配点的时间不足 20 毫秒，展现出在多种室外和室内场景下的卓越泛化能力。

ABSTRACT

Local feature matching is a critical component of many computer vision pipelines, including among others Structure-from-Motion, SLAM, and Visual Localization. However, due to limitations in the descriptors, raw matches are often contaminated by a majority of outliers. As a result, outlier detection is a fundamental problem in computer vision, and a wide range of approaches have been proposed over the last decades. In this paper we revisit handcrafted approaches to outlier filtering. Based on best practices, we propose a hierarchical pipeline for effective outlier detection as well as integrate novel ideas which in sum lead to AdaLAM, an efficient and competitive approach to outlier rejection. AdaLAM is designed to effectively exploit modern parallel hardware, resulting in a very fast, yet very accurate, outlier filter. We validate AdaLAM on multiple large and diverse datasets, and we submit to the Image Matching Challenge (CVPR2020), obtaining competitive results with simple baseline descriptors. We show that AdaLAM is more than competitive to current state of the art, both in terms of efficiency and effectiveness.

研究动机与目标

• 提升手工设计异常值检测在图像匹配流水线中的鲁棒性与效率。
• 通过引入空间一致性与几何验证，克服传统滤波器（如比例测试和互近邻）的局限性。
• 设计一种在多样化场景（包括室外与室内）中具有良好泛化能力的方法，且不依赖学习得到的描述符。
• 针对现代并行硬件进行优化，实现在 GPU 上每对图像处理时间低于 20 毫秒。
• 引入自适应阈值化机制，根据局部区域支持程度动态放松几何假设，从而提升泛化能力。

提出的方法

• 采用分层处理流程：首先从候选匹配中识别出分布良好的区域对应假设。
• 针对每个假设，使用样本自适应阈值选择与同一局部仿射变换一致的匹配点，以平衡灵敏度与鲁棒性。
• 通过类似 RANSAC 的采样策略，在每个区域内应用局部仿射验证，识别支持一致变换的内点。
• 采用自适应阈值化机制，根据局部支持程度放松几何约束，从而提升对不同场景条件的泛化能力。
• 利用现代 GPU 的并行能力，同时处理多个区域假设与匹配集合，实现低延迟过滤。
• 可无缝集成标准基线描述符（如 SIFT），证明性能提升源于过滤流水线本身，而非描述符质量。

实验结果

研究问题

• RQ1 当结合自适应阈值化与并行化时，手工设计的基于几何的异常值过滤器是否能超越学习型方法？
• RQ2 自适应放松几何假设在提升跨多样化图像对（如室内与室外、不同视角）的泛化能力方面有何作用？
• RQ3 纯粹基于几何、非学习型的方法在异常值剔除任务中能在多大程度上达到最先进性能？
• RQ4 与固定阈值相比，使用样本自适应阈值在局部仿射验证中的性能增益有多大？
• RQ5 此类流水线在现代 GPU 硬件上可并行化的效率如何，同时不损失准确性？

主要发现

• AdaLAM 在 Image Matching Challenge（CVPR 2020）中表现优异，仅使用标准基线描述符即超越了当前最先进方法。
• 在 YFCC100M 数据集上，AdaLAM 达到 88.8% mAP20 和 94.6% AUC20*，显著优于 OA-Net（84.7% mAP20，90.9% AUC20*）与 NGRANSAC（84.7% mAP20，90.9% AUC20*）。
• 在 SUN3D 数据集上，AdaLAM 达到 58.4% mAP20 和 89.2% AUC20*，优于 OA-Net（49.9% mAP20，89.6% AUC20*）与 NGRANSAC（46.5% mAP20，90.9% AUC20*）。
• AdaLAM 在现代 GPU 上每对图像处理 8,000 个匹配点的时间不足 20 毫秒，展现出适用于实时应用的高效率。
• 自适应阈值化机制通过根据局部支持水平动态调整，显著提升了在低纹理或困难场景中的泛化能力。
• 在 AdaLAM 的内点集合上使用 LO-RANSAC 重新拟合本质矩阵可进一步提升性能，证实了过滤后匹配点的鲁棒性。