[논문 리뷰] AdaLAM: Revisiting Handcrafted Outlier Detection

Luca Cavalli, Viktor Larsson외 3명|arXiv (Cornell University)|2020. 06. 07.

Robotics and Sensor-Based Localization참고 문헌 42인용 수 7

한 줄 요약

AdaLAM은 지역 애핀 변환에 대한 적응형 임계값을 사용하는 계층적 공간 검증을 조합한, 이미지 매칭을 위한 새로운 고도로 병렬화 가능한 이방성 필터링 방법을 제안한다. 이는 정확도와 속도 면에서 최신 기준 성능을 달성하며, 현대 GPU에서 이미지 쌍당 8,000개의 매칭을 20ms 이내로 처리한다. 이는 다양한 실외 및 실내 환경에서 뛰어난 일반화 능력을 보여준다.

ABSTRACT

Local feature matching is a critical component of many computer vision pipelines, including among others Structure-from-Motion, SLAM, and Visual Localization. However, due to limitations in the descriptors, raw matches are often contaminated by a majority of outliers. As a result, outlier detection is a fundamental problem in computer vision, and a wide range of approaches have been proposed over the last decades. In this paper we revisit handcrafted approaches to outlier filtering. Based on best practices, we propose a hierarchical pipeline for effective outlier detection as well as integrate novel ideas which in sum lead to AdaLAM, an efficient and competitive approach to outlier rejection. AdaLAM is designed to effectively exploit modern parallel hardware, resulting in a very fast, yet very accurate, outlier filter. We validate AdaLAM on multiple large and diverse datasets, and we submit to the Image Matching Challenge (CVPR2020), obtaining competitive results with simple baseline descriptors. We show that AdaLAM is more than competitive to current state of the art, both in terms of efficiency and effectiveness.

연구 동기 및 목표

• 이미지 매칭 파이프라인 내 수작업 기반 이방성 탐지의 강건성과 효율성을 향상시키기 위해.
• 비율 테스트 및 상호 최근접 이웃과 같은 전통적 필터의 한계를 극복하기 위해 공간 일致성과 기하학적 검증을 통합하기 위해.
• 학습된 기술에 의존하지 않고도 다양한 환경(실외 및 실내)에서 잘 일반화되는 방법을 설계하기 위해.
• 현대 병렬 하드웨어를 최적화하여 GPU에서 이미지 쌍당 20ms 이내 처리가 가능하도록 하기 위해.
• 지역 영역의 지원에 기반해 기하학적 가정을 동적으로 완화하는 적응형 임계값을 도입하여 일반화 능력을 향상시키기 위해.

제안 방법

• 먼저 수동 매칭에서 잘 분포된 영역 대응 가설을 식별하는 계층적 파이프라인을 구현한다.
• 각 가설에 대해 동일한 지역 애핀 변환과 일치하는 매칭을 선택하며, 민감도와 강건성을 균형 잡기 위해 샘플 적응형 임계값을 사용한다.
• 각 영역 내에서 일관된 변환을 지지하는 이방성 매칭을 식별하기 위해 RANSAC 유사 샘플링을 사용한 지역 애핀 검증을 적용한다.
• 지역 지원에 기반해 기하학적 제약 조건을 동적으로 완화하는 적응형 임계값을 활용하여 다양한 환경 조건에 대한 일반화 능력을 향상시킨다.
• 현대 GPU의 병렬 처리 능력을 활용해 여러 영역 가설과 매칭 집합을 동시에 처리하여 저지연 필터링을 가능하게 한다.
• 표준 기반 기술(예: SIFT)과 원활하게 통합되며, 성능 향상은 필터링 파이프라인의 기여에서 비롯됨을 입증한다.

실험 결과

연구 질문

• RQ1 적응형 임계값과 병렬 처리를 결합한 수작업 기반 기하학적 이방성 필터가 학습된 방법을 능가할 수 있는가?
• RQ2 기하학적 가정을 지역 지원 수준에 따라 적응적으로 완화함으로써 실내 및 실외, 다양한 시점 조건에서의 일반화 능력은 어떻게 향상되는가?
• RQ3 순수하게 기하학적이고 학습 기반 기술이 아닌 접근 방식이 이방성 제거에서 최신 기준 성능을 달성할 수 있는 정도는 어느 정도인가?
• RQ4 고정 임계값 대비 샘플 적응형 임계값을 사용할 경우 지역 애핀 검증에서 성능 향상은 어느 정도인가?
• RQ5 정확도를 희생시키지 않고도 현대 GPU 하드웨어에서 이러한 파이프라인을 얼마나 효율적으로 병렬화할 수 있는가?

주요 결과

• AdaLAM은 CVPR 2020 이미지 매칭 챌린지에서 표준 기반 기술만을 사용해도 최신 기준 성능을 달성하며, 이를 초월한다.
• YFCC100M 데이터셋에서 AdaLAM은 mAP20 88.8%와 AUC20* 94.6%를 기록하여, OA-Net(84.7% mAP20, 90.9% AUC20*)과 NGRANSAC(84.7% mAP20, 90.9% AUC20*)를 크게 앞서며 성능을 뛰어나게 한다.
• SUN3D 데이터셋에서 AdaLAM은 mAP20 58.4%와 AUC20* 89.2%를 달성하여, OA-Net(49.9% mAP20, 89.6% AUC20*)과 NGRANSAC(46.5% mAP20, 90.9% AUC20*)를 모두 압도한다.
• 현대 GPU에서 AdaLAM은 이미지 쌍당 8,000개의 매칭을 20ms 이내로 처리하여 실시간 응용에 적합한 고성능을 보여준다.
• 적응형 임계값 메커니즘이 지역 지원 수준에 따라 동적으로 조정되어, 저조도 또는 도전적인 환경에서의 일반화 능력을 향상시킨다.
• AdaLAM의 이방성 매칭 집합에 대해 LO-RANSAC를 사용해 본래 기하학적 행렬을 재조정함으로써 성능 향상이 더욱 뚜렷하게 확인되었으며, 이는 필터링된 매칭의 강건성을 확인한다.