[논문 리뷰] Are State-of-the-art Visual Place Recognition Techniques any Good for Aerial Robotics?

Mubariz Zaffar, Ahmad Khaliq외 4명|arXiv (Cornell University)|2019. 04. 16.

Robotics and Sensor-Based Localization참고 문헌 53인용 수 18

한 줄 요약

이 논문은 6-DOF 시점 변화가 극도로 심한 조건에서 성능, 계산 효율성, 메모리 요구 사항을 평가하기 위해 두 개의 항공 드론 데이터셋에서 8종의 최신 시각적 장소 인식(VPR) 기법을 평가한다. NetVLAD는 가장 뛰어난 매칭 성능를 보였지만, CALC는 가장 높은 에너지 효율성을 보였으며, 모든 방법이 항공 플랫폼의 제약으로 인해 심각한 과제에 직면해 있음을 확인하여 항공용 최적화된 VPR 시스템의 필요성을 강조한다.

ABSTRACT

Visual Place Recognition (VPR) has seen significant advances at the frontiers of matching performance and computational superiority over the past few years. However, these evaluations are performed for ground-based mobile platforms and cannot be generalized to aerial platforms. The degree of viewpoint variation experienced by aerial robots is complex, with their processing power and on-board memory limited by payload size and battery ratings. Therefore, in this paper, we collect $8$ state-of-the-art VPR techniques that have been previously evaluated for ground-based platforms and compare them on $2$ recently proposed aerial place recognition datasets with three prime focuses: a) Matching performance b) Processing power consumption c) Projected memory requirements. This gives a birds-eye view of the applicability of contemporary VPR research to aerial robotics and lays down the the nature of challenges for aerial-VPR.

연구 동기 및 목표

• 지상 기반 VPR 기법이 6-DOF 시점 변화가 심한 조건에서 항공 드론 플랫폼으로 일반화되는지 평가하기 위해.
• 드론에서 흔히 볼 수 있는 자원 제약 조건 하에서 최신 VPR 방법의 계산 및 메모리 오버헤드를 분석하기 위해.
• 새로가 제안된 항공 장소 인식 데이터셋을 사용해 6-DOF 시점 변화가 있는 조건에서 VPR 기법을 비교하기 위해.
• 배터리 구동 항공 로봇에 실질적으로 구현하기 위해 처리 성능 소비량과 예상 메모리 요구 사항을 정량화하기 위해.
• 장기적 실시간 자율 비행에 가장 실용적인 VPR 기법을 특정하기 위해.

제안 방법

• 연구는 두 개의 항공 데이터셋인 Shopping Street 1과 Shopping Street 2에서 8종의 최신 SOTA VPR 기법—AlexNet, NetVLAD, AMOSNet, HybridNet, Cross-Region-BOW, R-MAC, Region-VLAD, CALC—을 평가한다.
• 모든 방법은 공통 하드웨어 플랫폼(Intel Xeon Gold 6134 CPU)에 배치되어 매칭 성능, 처리 시간, CPU 활용도 측면에서 공정한 비교를 보장한다.
• 전력 소비는 a=0, s=1, V=2.5, N=4781의 파rameters를 가진 배터리 모델을 사용하여 추정하며, 특징 인코딩 및 매칭에 대한 총 Ah 소비량(Ah_t)을 계산한다.
• 예상 메모리 요구 사항은 두 데이터셋 전반에 걸쳐 저장된 특징 서술자 총 크기(각 참조 이미지당 하나)를 추정하여 계산한다. 이는 전체 지ap 저장을 전제로 한다.
• 성능 평가는 수동으로 들고 촬영한 카메라를 사용해 6-DOF 드론 운동을 시뮬레이션한 데이터셋에서 표준 VPR 메트릭을 사용해 평가한다.
• 분석은 매칭 정확도와 자원 효율성 양쪽을 포함하며, 결과는 CPU 활용도, 실행 시간, 에너지 소비의 관점에서 보고된다.

실험 결과

연구 질문

• RQ1 지상 기반 플랫폼을 위해 설계된 최신 VPR 기법들이 6-DOF 시점 변화 조건에서 항공 드론 플랫폼으로 일반화될 수 있는가?
• RQ2 자원 제약 조건이 있는 항공 플랫폼에서 다양한 VPR 기법들이 처리 성능 소비량과 에너지 효율성 측면에서 어떻게 비교되는가?
• RQ3 현대 기반 서술자 기반 방법을 사용해 항공 데이터셋에 대한 전체 VPR 지도를 저장할 경우 예상되는 메모리 요구 사항은 무엇인가?
• RQ4 Shopping Street 데이터셋의 시점 변화가 최신 SOTA VPR 기법의 매칭 성능에 어떤 영향을 미치는가?
• RQ5 장시간 비행 임무를 위한 정확도, 에너지 효율성, 메모리 프로파일 간 최적의 트레이드오프를 제공하는 VPR 기법은 무엇인가?

주요 결과

• NetVLAD는 Shopping Street 2 데이터셋에서 가장 높은 매칭 성능를 기록하여 6-DOF 시점 변화에 대한 최신 기술 수준의 강건성을 입증했다.
• Cross-Region-BOW는 가장 높은 처리 성능 소비량(Ah_t = 63.836)을 보였으며, 주로 계산 비용이 큰 매칭 단계(t_m = 1199.04 sec) 때문이었다.
• CALC는 가장 높은 에너지 효율성을 보였으며, 총 배터리 소비량이 가장 낮아(Ah_t = 0.0272) 장시간 비행 임무에 매우 적합했다.
• 전체 서술자 지도 저장에 대한 예상 메모리 요구 사항은 Cross-Region-BOW에서 가장 높고 CALC에서 가장 낮았으며, 기법 간 범위는 0.0272 Ah_t에서 63.836 Ah_t까지 다양했다.
• Shopping Street 1과 Shopping Street 2 간의 매칭 성능 저하가 뚜렷하게 관찰되어, 6-DOF 시점 변화는 기존 VPR 기법들에게 주요 과제임을 시사했다.
• 지상 기반 데이터셋에서 뛰어난 성능를 보였음에도 불구하고, 대부분의 최신 SOTA VPR 기법들이 항공 데이터셋에서 시뮬레이션된 수직 및 횡방향 시점 변화에 어려움을 겪고 있어, 항공용 최적화된 VPR 시스템의 필요성을 재확인했다.