[논문 리뷰] General Place Recognition Survey: Towards the Real-world Autonomy Age

Peng Yin, Shiqi Zhao외 7명|arXiv (Cornell University)|2022. 09. 09.

Indoor and Outdoor Localization TechnologiesEngineering인용 수 17

한 줄 요약

이 종합 검토는 실제 로봇 자율주행을 위한 장기적 장소 인식(GPR)에 대해 포괄적인 검토를 제공하며, 다중 모달 센서 접근법, 딥러닝 기반 특징 추출, 외관 및 시점 변화에 대한 강건성 등을 다룹니다. 이 연구는 통합 프레임워크, 새로운 데이터셋, 평가용 API를 도입하여 이론과 실제 적용 사이의 격차를 메우며, 대규모 장기 주행 시스템에 기여합니다.

ABSTRACT

Place recognition is the fundamental module that can assist Simultaneous Localization and Mapping (SLAM) in loop-closure detection and re-localization for long-term navigation. The place recognition community has made astonishing progress over the last $20$ years, and this has attracted widespread research interest and application in multiple fields such as computer vision and robotics. However, few methods have shown promising place recognition performance in complex real-world scenarios, where long-term and large-scale appearance changes usually result in failures. Additionally, there is a lack of an integrated framework amongst the state-of-the-art methods that can handle all of the challenges in place recognition, which include appearance changes, viewpoint differences, robustness to unknown areas, and efficiency in real-world applications. In this work, we survey the state-of-the-art methods that target long-term localization and discuss future directions and opportunities. We start by investigating the formulation of place recognition in long-term autonomy and the major challenges in real-world environments. We then review the recent works in place recognition for different sensor modalities and current strategies for dealing with various place recognition challenges. Finally, we review the existing datasets for long-term localization and introduce our datasets and evaluation API for different approaches. This paper can be a tutorial for researchers new to the place recognition community and those who care about long-term robotics autonomy. We also provide our opinion on the frequently asked question in robotics: Do robots need accurate localization for long-term autonomy? A summary of this work and our datasets and evaluation API is publicly available to the robotics community at: https://github.com/MetaSLAM/GPRS.

연구 동기 및 목표

• 외관 변화, 시점 차이, 알 수 없는 영역, 실시간 효율성 등을 처리할 수 있는 통합 프레임워크가 부족한 장기적 장소 인식(GPR) 문제를 해결한다.
• 시각, 라이다, 레이더, 다중 모달 센서 입력에 대한 최신 기법을 검토하여 강건한 장소 인식을 구현한다.
• 시간에 따른 외관 변화, 시점 이동, 알 수 없는 환경에 대한 강건성 등 실제 구현 시 고려해야 할 주요 과제를 규명한다.
• 공정한 비교와 GPR 기법의 발전을 가능하게 하기 위해 새로운 데이터셋과 평가용 API를 포함한 표준화된 벤치마크를 제공한다.
• 연구자들이 일반화 가능하고 실제 적용 가능한 장소 인식 시스템을 개발하여 장기적 자율주행을 위한 로봇의 지속적 인지 능력을 향상시킬 수 있도록 이끈다.

제안 방법

• 다양한 센서 모달리티 간에 외관 및 시점에 영향을 받지 않는 검색 문제로 장소 인식을 일반화된 문제로 재정의한다.
• 360° 인식 가능한 컨볼루션 레이어와 다중 모달 입력을 위한 트랜스포머 기반 특징 집약 기법을 포함한 딥러닝 기반 특징 추출 기법을 조사한다.
• 소수의 샘플로도 높은 재정렬 정확도를 확보할 수 있도록, 시뮬레이션에서 실제 환경으로의 도메인 적응 및 시뮬레이션-실세계 전이 기법을 도입한다.
• 시각, 라이다, 레이더 데이터를 융합하는 전략을 개발하여 각 모달리티의 한계(예: 라이다의 무늬 손실, 레이더의 노이즈)를 상쇄한다.
• 표준화된 평가용 API를 설계하고, 시간적, 시점적 변화가 존재하는 도시 규모 및 실내 환경을 대상으로 한 대규모 장기 데이터셋을 공개한다.
• 알 수 없는 환경과 도전적인 환경에서의 강건성, 효율성, 일반화 능력을 측정하기 위한 메트릭을 통합한다.

실험 결과

연구 질문

• RQ1 어떻게 장기적 환경에서 외관 및 시점 변화가 심한 대규모 환경에서도 장소 인식 시스템이 강건한 성능을 달성할 수 있는가?
• RQ2 실제 장소 인식에서 일반화 및 강건성을 향상시키기 위해 가장 효과적인 다중 모달 센서 융합 전략은 무엇인가?
• RQ3 시뮬레이션-실세계 전이 및 소수의 학습 데이터 기반 학습은 얼마나 적은 실제 훈련 데이터로도 정확한 재정렬을 가능하게 하는가?
• RQ4 표준화된 벤치마크와 평가 프레임워크는 장기적 장소 인식 연구의 비교 가능성과 발전을 어떻게 향상시키는가?
• RQ5 비정형 환경에서 지속적이고 연속적인 인지 및 주행을 가능하게 하기 위해 장소 인식은 어떤 역할을 하는가?

주요 결과

• 특히 시각, 라이다, 레이더를 융합한 다중 모달 센서 융합은 환경 변화와 센서 고유의 한계에 대해 강건성을 크게 향상시킨다.
• 360° 인식 가능한 컨볼루션과 트랜스포머 기반 어텐션 메커니즘을 활용한 딥러닝 기반 특징 추출기들은 시점에 영향을 받지 않는 장소 인식에서 높은 정확도를 달성한다.
• 시뮬레이션-실세계 도메인 적응을 통해 실제 훈련 데이터가 몇 킬로미터 밖에 되지 않아도 수백 킬로미터에 걸쳐 정확한 재정렬이 가능하다.
• 제안된 평가용 API와 새로운 데이터셋(예: 도시 규모 및 실내 장기 정렬용)은 다양한 방법 간의 공정한 비교를 위한 표준화된 벤치마크를 제공한다.
• 신뢰할 수 있는 장소 인식은 GPS가 작동하지 않는 환경(예: 지하 또는 외계 천체 표면)을 포함한 복잡한 환경에서의 장기 주행을 가능하게 한다.
• SLAM 및 다중 에이전트 시스템에 장소 인식을 통합하면 데이터 연동, 정렬, 지속적 인지 능력이 향상된다.