[논문 리뷰] A Survey on Deep Learning for Localization and Mapping: Towards the Age of Spatial Machine Intelligence

Changhao Chen, Bing Wang외 3명|arXiv (Cornell University)|2020. 06. 22.

Robotics and Sensor-Based Localization참고 문헌 251인용 수 106

한 줄 요약

본 논문은 로컬라이제이션 및 매핑에 대한 딥러닝 접근법의 포괄적 분류체계와 조사를 제공하며, 오도메트리(odometry), mapping, global localization, 및 SLAM을 다루고 Spatial Machine Intelligence Systems (SMIS) 방향의 한계와 향후 방향에 대해 논의한다.

ABSTRACT

Deep learning based localization and mapping has recently attracted significant attention. Instead of creating hand-designed algorithms through exploitation of physical models or geometric theories, deep learning based solutions provide an alternative to solve the problem in a data-driven way. Benefiting from ever-increasing volumes of data and computational power, these methods are fast evolving into a new area that offers accurate and robust systems to track motion and estimate scenes and their structure for real-world applications. In this work, we provide a comprehensive survey, and propose a new taxonomy for localization and mapping using deep learning. We also discuss the limitations of current models, and indicate possible future directions. A wide range of topics are covered, from learning odometry estimation, mapping, to global localization and simultaneous localization and mapping (SLAM). We revisit the problem of perceiving self-motion and scene understanding with on-board sensors, and show how to solve it by integrating these modules into a prospective spatial machine intelligence system (SMIS). It is our hope that this work can connect emerging works from robotics, computer vision and machine learning communities, and serve as a guide for future researchers to apply deep learning to tackle localization and mapping problems.

연구 동기 및 목표

• 자율 에이전트와 공간 AI의 기초로서 로컬라이제이션 및 매핑을 제시한다.
• 오도메티, 매핑, 글로벌 로컬라이제이션, SLAM을 체계화하는 새로운 분류체계를 제안한다.
• 엔드투엔드(end-to-end), 하이브리드, 비지도 학습 접근법과 이들의 실제 센싱 데이터 적용을 조사한다.
• 로봇공학, 컴퓨터 비전, ML의 학제 간 연구를 안내하기 위한 한계점, 도전과 향후 방향을 논의한다.

제안 방법

• 로컬라이제이션 및 매핑(odometry, mapping, global localization, SLAM)을 위한 딥러닝 접근법의 분류체계를 제안한다.
• Odometry 추정 및 자세/궤적 회복을 위한 지도학습, 비지도/자기지도 학습, 하이브리드 학습 프레임워크를 검토한다.
• DL 방법이 전통적 기하 모델과 어떻게 결합되는지에 대해 시각/관성/ LiDAR 센싱 모달리티를 논의한다.
• DL 기반 SLAM 백엔드의 강건성, 일반화, 스케일 복원, 불확실성 추정 등 을 분석한다.
• 지각, 로컬라이제이션, 매핑의 통합 청사진으로 Spatial Machine Intelligence System(SMIS) 소개한다.

실험 결과

연구 질문

• RQ1 DL 기반 메서드는 오도메트리 추정, 매핑, 글로벌 로컬라이제이션, SLAM에 대해 어떤 방법들이 존재하는가?
• RQ2 엔드투엔드, 비지도/자기지도 학습, 하이브리드 DL 접근법은 전통적 모델 기반 방법과 비교해 정확도 및 강건성에서 어떤 차이가 있는가?
• RQ3 현재 DL 기반 로컬라이제이션 및 매핑 시스템의 한계(일반화, 해석가능성, 계산) 는 무엇인가?
• RQ4 DL 기반 지각 모듈을 장기 자율성에 대한 통합 Spatial Machine Intelligence System(SMIS)으로 어떻게 통합할 수 있는가?

주요 결과

• DL 방법은 데이터에서 자세 변환을 직접 학습할 수 있으며 단일 카메라 설정에서 학습을 통해 스케일을 제공할 수 있다.
• 비지도/자기지도 VO/VIO 접근은 뷰 합성 및 기하적 일관성 손실을 이용해 깊이와 모션을 회복하며, 스케일 및 동적 문제를 일부 해결한다.
• 깊은 깊이/자세 예측과 전통적인 기하 백엔드를 결합한 하이브리드 모델은 순수 엔드투엔드 또는 전통적인 VO/VIO 시스템보다 종종 성능이 우수하다.
• DL 기반 SLAM 생태계는 센서 노이즈 및 동적 환경에 대한 강건성에서 가능성을 보이나, 일반화, 해석가능성, 높은 계산 비용은 여전히 과제이다.
• 이 조사에서 DL 로컬라이제이션/매핑은 Spatial Machine Intelligence System(SMIS) 안에서 로봇공학, 컴퓨터 비전, ML 커뮤니티를 연결하는 프레임으로 제시된다.