[논문 리뷰] MegLoc: A Robust and Accurate Visual Localization Pipeline

Shuxue Peng, Zihang He외 5명|arXiv (Cornell University)|2021. 11. 25.

Robotics and Sensor-Based Localization참고 문헌 24인용 수 6

한 줄 요약

MegLoc는 계절적, 조명적, 시간적 변동과 같은 도전적인 조건에서도 신뢰할 수 있는 자세 추정을 위한 글로벌 및 로컬 특징 매칭 및 다단계 정밀 조정을 결합한 강건하고 정확한 6-DoF 시각적 국소화 파이프라인이다. 다양한 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, ICCV 2021에서 실외 및 실내 시각적 국소화 경연 대회에서 우승하였다.

ABSTRACT

In this paper, we present a visual localization pipeline, namely MegLoc, for robust and accurate 6-DoF pose estimation under varying scenarios, including indoor and outdoor scenes, different time across a day, different seasons across a year, and even across years. MegLoc achieves state-of-the-art results on a range of challenging datasets, including winning the Outdoor and Indoor Visual Localization Challenge of ICCV 2021 Workshop on Long-term Visual Localization under Changing Conditions, as well as the Re-localization Challenge for Autonomous Driving of ICCV 2021 Workshop on Map-based Localization for Autonomous Driving.

연구 동기 및 목표

• 계절적, 일일적, 장기적인 변화와 같은 극심한 외관 변화 조건에서도 높은 정확도와 강건성을 유지하는 시각적 국소화 파이프라인 개발.
• 전통적인 이미지 검색 기법이 저조도 또는 반복적인 실내 환경에서 실패하는 문제를 해결하기 위해 뷰 정렬 및 인지적 유사도 기반 재순서 전략 도입.
• 맵핑 및 국소화 단계를 결합한 모듈러한 이중 단계 파이프라인을 통해 엔드 투 엔드 학습 가능한 정밀 조정 컴포넌트를 통합하여 자세 추정 정확도 향상.
• 밀도 있는 재구성(MVS) 및 신경 렌더링(NeRF-W) 기법과 같은 기술 통합을 통해 장기적인 시나리오에서 3D 맵 품질 및 국소화 강건성 향상 탐색.
• 장기적 및 자율 주행 시나리오를 포함한 다양한 실제 환경의 시각적 국소화 벤치마크에서 최신 기술 수준의 성능 달성.

제안 방법

• 이중 단계 파이프라인 사용: 맵핑(기준 매칭, COLMAP 삼각측량, 깊이 검증, 불확실성 거부) 및 국소화(글로벌 디스크립터 융합, 로컬 특징 매칭, PnP, 자세 재순서 전략).
• 이미지 사전 처리를 통해 최대 1600px 크기로 리사이징, CityScapes 기반 DeepLab-V3+를 통한 동적 객체의 의미적 마스킹, 렌즈 왜곡 보정을 통해 특징 신뢰성 향상.
• 로컬 특징 추출에 SuperPoint와 ASLFeat를 조합하여 NMS 및 임계값 조정을 통해 평균 1500개의 키포인트를 생성, 상호보완적인 강점을 활용.
• 글로벌 특징 추출에 NetVLAD 활용, 엔드 투 엔드 학습이 가능한 소프트 할당 기반의 이미지 검색을 통해 외관 변화에 강건한 특징 추출.
• 밀도 있는 깊이 맵 또는 기하학적 렌더링 기반으로 ICP 기반 및 렌더링 기반 자세 정밀 조정을 적용하여 初기 자세를 진짜 기하학적 구조에 최적화.
• 실내 환경에서 인지적 유사도 기반 재순서 전략 도입, 추정된 자세를 기반으로 후보 뷰를 쿼리에 정렬하고, 깊은 특징 맵의 L2 거리 측정.

실험 결과

연구 질문

• RQ1 계절적 및 일일적 변화와 같은 심각한 외관 변화 조건에서도 시각적 국소화 파이프라인이 높은 정확도와 강건성을 유지할 수 있는 방법은 무엇인가?
• RQ2 글로벌 디스크립터가 실패하는 저조도 또는 반복적인 실내 환경에서 이미지 검색의 신뢰성을 향상시키기 위한 전략은 무엇인가?
• RQ3 ICP 및 기하학적 렌더링 기반의 다단계 정밀 조정이 PnP에서 유도한 초기 자세 추정치를 얼마나 향상시킬 수 있는가?
• RQ4 밀도 있는 재구성(MVS) 및 신경 렌더링(NeRF-W) 기술 통합이 장기적 시나리오에서 맵 품질 및 국소화 성능을 향상시킬 수 있는가?
• RQ5 모듈러한 설계가 다른 맵핑 또는 특징 추출 컴포넌트와의 플러그 앤 플레이 통합을 어떻게 가능하게 하는가?

주요 결과

• MegLoc는 ICCV 2021 실외 및 실내 시각적 국소화 경연 대회에서 우승하며 다양한 벤치마크에서 최신 기술 수준의 성능 달성.
• 의미적 마스킹 및 이미지 왜곡 보정을 통한 처리가 동적 또는 왜곡된 환경에서 키포인트 신뢰성과 매칭 정확도를 크게 향상시켰다.
• SuperPoint와 ASLFeat의 융합을 통해 평균 1500개의 키포인트를 생성하여 다양한 환경에서 커버리지와 특징의 분류 능력의 균형을 확보.
• NetVLAD 기반 글로벌 특징 추출이 심각한 조명 변화나 계절 변화 조건에서도 기존 BoW 및 SIFT 기반 방법보다 뛰어난 이미지 검색 성능을 보였으며, 강건성을 확보.
• 인지적 유사도 기반 재순서 전략이 실내 환경에서 가장 구조적으로 유사한 후보 뷰를 선택하여 국소화 정확도 향상, 글로벌 디스크립터 유사도의 한계를 보완.
• ICP 및 기하학적 렌더링 기반 자세 정밀 조정이 자세 오차를 크게 감소시켰으며, 특히 렌더링 기반 최적화가 광학 일관성 측면에서 뛰어난 성능을 보였다.