[논문 리뷰] Leveraging Deep Visual Descriptors for Hierarchical Efficient Localization

Paul-Edouard Sarlin, Frédéric Debraine외 3명|arXiv (Cornell University)|2018. 09. 04.

Robotics and Sensor-Based Localization인용 수 44

한 줄 요약

요약: 이 논문은 학습된 글로벌 이미지 디스크립터를 먼저 사용해 후보 장소를 검색한 후, 시티 스케일의 GPS가 차단된 환경에서 센티미터 정밀도의 6-DoF 포즈를 추정하기 위해 비싼 로컬 2D-3D 매칭(SIFT)을 수행하면서 모바일 기기에서 실시간으로 작동하는 계층적 시각 로컬라이제이션 파이프라인을 제시합니다.

ABSTRACT

Many robotics applications require precise pose estimates despite operating in large and changing environments. This can be addressed by visual localization, using a pre-computed 3D model of the surroundings. The pose estimation then amounts to finding correspondences between 2D keypoints in a query image and 3D points in the model using local descriptors. However, computational power is often limited on robotic platforms, making this task challenging in large-scale environments. Binary feature descriptors significantly speed up this 2D-3D matching, and have become popular in the robotics community, but also strongly impair the robustness to perceptual aliasing and changes in viewpoint, illumination and scene structure. In this work, we propose to leverage recent advances in deep learning to perform an efficient hierarchical localization. We first localize at the map level using learned image-wide global descriptors, and subsequently estimate a precise pose from 2D-3D matches computed in the candidate places only. This restricts the local search and thus allows to efficiently exploit powerful non-binary descriptors usually dismissed on resource-constrained devices. Our approach results in state-of-the-art localization performance while running in real-time on a popular mobile platform, enabling new prospects for robotics research.

연구 동기 및 목표

• 큰 환경에서의 변동에 대비한 정확한 6-DoF 로컬라이제이션 필요성 해결
• 글로벌 학습 디스크립터로 대략적 장소 검색을 수행하고 비싼 로컬 특성으로 정밀 포즈 추정 결합
• 타깃 환경 학습 없이 모바일 하드웨어에서 실시간 작동 가능

제안 방법

• 지식 증류를 통해 대형 이미지 검색 모델을 모바일 친화적 네트워크로 압축하여 MobileNetVLAD 글로벌 디스크립터를 생성한다.
• 검색된 priors의 공동 가시성 기반 클러스터링으로 후보 장소를 정의한다.
• 고차원 로컬 디스크립터(SIFT 또는 FREAK)를 축소된 후보 세트 내에서만 사용해 2D-3D 매치를 계산한다.
• 일관된 2D-3D 대응으로부터 PnP-RANSAC 포즈 추정을 해결한다.
• 기준선과의 비교를 통해 재현율/정밀도 및 센티미터 정밀 포즈 추정 향상을 보인다

실험 결과

연구 질문

• RQ1 학습된 글로벌 디스크립터가 2D-3D 포즈 추정을 위한 탐색 공간을 축소하는 실용적, 대략적 로컬라이제이션을 가능하게 할 수 있는가?
• RQ2 위계적, 거친-정밀 로컬라이제이션 파이프라인이 모바일 하드웨어에서 정확도와 런타임 측면에서 기존의 자원 제약 방법들보다 성능이 우수한가?
• RQ3 글로벌 디스크립터 디스틸레이션, 공동 가시성 클러스터링, 로컬 디스크립터 선택(FREAK 대 SIFT)이 로컬라이제이션 성능에 어떤 영향을 미치는가?

주요 결과

• MobileNetVLAD는 NetVLAD에 근접한 검색 재현율을 달성하면서도 약 38배 더 빠르게 실행되어 실시간 모바일 배포를 가능하게 한다.
• 전체 로컬라이제이션에서 MNV+SIFT 조합은 Recall@0.1m 38.5%, Precision@0.1m 80.5%, 중앙값 오차 0.029 m를 달성하며 Direct+FREAK를 능가하고 완벽한 SIFT 상한에 근접한다.
• 5–10 프레임의 priors 사용은 강력한 포즈 추정을 제공하면서 런타임을 낮게 유지한다; priors 수를 늘리면 수익이 감소하고 지연이 증가한다.
• 전체 파이프라인은 NVIDIA Jetson TX2에서 2.2 FPS로 실행되며, 로컬 매칭이 병목이며 정확도 손실을 감수하면 속도 향상이 가능하다.
• Maplab의 Direct+FREAK 기준선과 비교하여 제안 방법이 재현율을 상당히 향상시킨다(보고된 결과에서 18.4%).
• 실시간 제약하에서도 타깃 환경 학습이 필요하지 않으면서 도시 규모의 GPS-가자 환경에서 센티미터 정밀 포즈를 제공한다.