[논문 리뷰] Robust Image Retrieval-based Visual Localization using Kapture

Martin Humenberger, Yohann Cabon외 8명|arXiv (Cornell University)|2020. 07. 27.

Robotics and Sensor-Based Localization참고 문헌 54인용 수 20

한 줄 요약

이 논문은 Aachen Day-Night v1.1 벤치마크에서 R2D2, SuperGlue 및 기타 특징 검출기와 다양한 글로벌 기술자 구성 조합을 사용하여 강건한 시각적 로컬라이제이션을 평가한다. 결과적으로 R2D2에 GHARM-50와 config2를 조합한 경우 전 범위의 거리 구간에서 평균 정확도 92.45%를 기록하며, 주간 및 야간 조건에서 모두 우수한 성능을 보이며, 도전적인 시각적 로컬라이제이션 작업에서 학습된 局소 특징과 강력한 글로벌 기술자 조합의 효과를 입증한다.

ABSTRACT

Visual localization tackles the challenge of estimating the camera pose from images by using correspondence analysis between query images and a map. This task is computation and data intensive which poses challenges on thorough evaluation of methods on various datasets. However, in order to further advance in the field, we claim that robust visual localization algorithms should be evaluated on multiple datasets covering a broad domain variety. To facilitate this, we introduce kapture, a new, flexible, unified data format and toolbox for visual localization and structure-from-motion (SFM). It enables easy usage of different datasets as well as efficient and reusable data processing. To demonstrate this, we present a versatile pipeline for visual localization that facilitates the use of different local and global features, 3D data (e.g. depth maps), non-vision sensor data (e.g. IMU, GPS, WiFi), and various processing algorithms. Using multiple configurations of the pipeline, we show the great versatility of kapture in our experiments. Furthermore, we evaluate our methods on eight public datasets where they rank top on all and first on many of them. To foster future research, we release code, models, and all datasets used in this paper in the kapture format open source under a permissive BSD license. github.com/naver/kapture, github.com/naver/kapture-localization

연구 동기 및 목표

• Aachen Day-Night v1.1 벤치마크에서 주간-야간 조건의 도전적인 환경에서 시각적 로컬라이제이션 방법의 강건성을 평가하기 위해.
• 다양한 국소 특징 검출기(예: R2D2, Fast-R2D2, ASLFeat)와 글로벌 기술자(예: GHARM, APGeM, NetVLAD, DELG) 조합의 성능을 비교하기 위해.
• 다양한 조명 및 시점 조건에서 높은 정확도를 달성하기 위한 국소 및 글로벌 특징의 최적 구성 식별하기 위해.
• 실제 실외 환경에서 로컬라이제이션 성능에 미치는 글로벌 기술자 유형 및 학습 설정의 영향 평가하기 위해.

제안 방법

• 연구는 주간 및 야간 이미지가 포함된 대규모 실외 데이터셋인 Aachen Day-Night v1.1 벤치마크를 사용한다.
• 다양한 글로벌 기술자 구성(GHARM, APGeM, NetVLAD, DELG, DenseVLAD)을 가진 여러 국소 특징 검출기(R2D2, Fast-R2D2, ASLFeat, D2-Net)를 평가한다.
• 키포인트 매칭은 SuperGlue를 사용하고, 로컬라이제이션 정확도는 표준 평가 프로토콜에 따라 계산된다.
• 다양한 거리 구간(고, 중, 저)에서 정확도를 측정하여 난이도에 따른 강건성 평가를 수행한다.
• 모든 구간의 평균 정확도를 기반으로 구성 간 체계적 비교를 수행하며, 결과는 총합 성능 기준으로 정렬된다.
• 기타 기술자 유형 및 학습 전략(예: config1 대비 config2)에 대한 분석을 통해 성능 향상 원인을 규명하기 위한 아블레이션 스터디를 수행한다.

실험 결과

연구 질문

• RQ1 Aachen Day-Night v1.1 벤치마크에서 어떤 국소 특징 검출기와 글로벌 기술자 조합이 가장 높은 로컬라이제이션 정확도를 달성하는가?
• RQ2 주간-야간 변화 조건에서 학습된 국소 특징(예: R2D2)의 성능는 전통적 방법(예: SIFT)에 비해 어떻게 비교되는가?
• RQ3 다양한 글로벌 기술자 유형(예: APGeM, NetVLAD, DELG)이 조명 조건 변화에 따른 로컬라이제이션 강건성에 어떤 영향을 미치는가?
• RQ4 학습 설정의 선택(예: config1 대비 config2)이 R2D2에 글로벌 기술자를 적용했을 때 성능에 유의미한 영향을 미치는가?
• RQ5 다양한 특징 매칭 전략(예: SuperGlue)이 도전적인 실외 환경에서 최종 로컬라이제이션 정확도에 어떤 영향을 미치는가?

주요 결과

• R2D2에 GHARM-50와 config2를 조합한 구성은 Aachen Day-Night v1.1 벤치마크에서 모든 거리 구간에서 평균 정확도 92.45%를 기록하며 최고 성능을 보였다.
• 동일한 구성은 고거리 구간에서 99.5%의 정확도를 기록했고, 야간 고거리 구간에서도 98.0%의 정확도를 기록하여 극한 조건에서도 강건함을 입증했다.
• Fast-R2D2에 GHARM-20와 config2를 조합한 경우 평균 정확도 91.75%를 기록하여, 더 빠른 변종이라도 높은 성능를 유지함을 보였다.
• R2D2에 APGeM-20와 config2를 조합한 경우 평균 정확도 90.32%를 기록하여, APGeM이 효과적인 글로벌 기술자임을 입증했다.
• COLMAP SIFT를 사용한 APGeM-20 구성은 평균 정확도 79.17%에 머물러, 학습된 특징과 전통적 특징 간 성능 격차를 명확히 드러냈다.
• R2D2에 DenseVLAD 또는 NetVLAD를 사용한 구성은 각각 84.93% 및 90.60%의 정확도를 기록하여 성능이 떨어짐을 보였으며, 이는 기술자 선택이 결과에 큰 영향을 미친다는 것을 시사한다.