[논문 리뷰] Levelling the Playing Field: A Comprehensive Comparison of Visual Place Recognition Approaches under Changing Conditions

Mubariz Zaffar, Ahmad Khaliq외 3명|arXiv (Cornell University)|2019. 03. 21.

Advanced Image and Video Retrieval Techniques참고 문헌 48인용 수 35

한 줄 요약

이 논문은 표준화된 지표를 사용하여 세 가지 도전적인 데이터 세트에서 10개의 최첨단 Visual Place Recognition(VPR) 기술을 벤치마킹하여 매칭 성능(AUC), 매칭 시간, 메모리 사용량을 비교하고 미래의 VPR 연구를 위한 통일된 비교를 제공했다.

ABSTRACT

In recent years there has been significant improvement in the capability of Visual Place Recognition (VPR) methods, building on the success of both hand-crafted and learnt visual features, temporal filtering and usage of semantic scene information. The wide range of approaches and the relatively recent growth in interest in the field has meant that a wide range of datasets and assessment methodologies have been proposed, often with a focus only on precision-recall type metrics, making comparison difficult. In this paper we present a comprehensive approach to evaluating the performance of 10 state-of-the-art recently-developed VPR techniques, which utilizes three standardized metrics: (a) Matching Performance b) Matching Time c) Memory Footprint. Together this analysis provides an up-to-date and widely encompassing snapshot of the various strengths and weaknesses of contemporary approaches to the VPR problem. The aim of this work is to help move this particular research field towards a more mature and unified approach to the problem, enabling better comparison and hence more progress to be made in future research.

연구 동기 및 목표

• 도전적인 외관 변화 하에서 10개의 최근 VPR 기법의 성능 평가.
• 데이터 세트, 정답 및 지표를 일정하게 유지하여 공정하고 통합된 평가 플랫폼 제공.
• 정확도, 속도 및 메모리 사용 간의 트레이드오프를 배치 고려를 위해 정량화.

제안 방법

• Berlin Kudamm, Gardens Point, Nordland의 세 공용 데이터 세트에서 표준화된 조건 하에 10 VPR 기법 평가.
• 세 가지 지표 사용: 매칭 성능(AUC of precision-recall), 매칭 시간(쿼리 인코딩 및 디스크립터 매핑), 및 메모리 사용량(디스크립터 크기).
• 각 기법을 아래와 같이 구현 및 구성: HOG, Seq-SLAM, AlexNet, NetVLAD, AMOSNet, HybridNet, Cross-Region-BOW, R-MAC, Region-VLAD, CALC.
• 시점/계절/조명 변화 및 동적 물체의 존재에 대한 민감도 측면에서 기법 비교.

실험 결과

연구 질문

• RQ1 극단적인 외관 변화 하에서 상위 VPR 기법의 정확도는 어떻게 비교되는가?
• RQ2 일관된 플랫폼에서 배포 시 시간 및 메모리 측면의 계산 트레이드오프는 어떠한가?
• RQ3 실시간 배치를 위한 매칭 성능과 자원 요구 간의 균형이 가장 잘 맞는 메소드는 무엇인가?

주요 결과

• NetVLAD가 Berlin Kudamm 데이터셋에서 최첨단 성능을 달성합니다.
• Region-VLAD 및 Cross-Region-BoW가 Berlin Kudamm에서 NetVLAD를 근소하게 뒤따르며, AMOSNet 및 HybridNet은 경쟁력 있는 결과를 제공하지만 극심한 시점 변화로 인해 저하.
• Gardens Point에서는 조명 변화에도 대부분의 방법이 양호하게 수행하며, Cross-Region-BoW가 강력한 결과를 달성합니다.
• Nordland에서 Region-VLAD가 최상위 성능을 제공하며, Net-VLAD 및 Cross-Region-BOW도 경쟁력이 있습니다.
• CNN 기반 방법은 수동 설계된 방법보다 인코딩 시간이 더 길고 메모리 발자국이 크지만, CALC은 현저히 더 빠른 인코딩 시간을 보입니다.
• Cross-Region-BOW 및 Region-VLAD는 큰 디스크립터 크기를 가지고 있어 자원이 제한된 플랫폼에서의 배포에 영향을 미칩니다.