[논문 리뷰] Deep Learning for Visual Localization and Mapping: A Survey

Changhao Chen, Bing Wang외 3명|arXiv (Cornell University)|2023. 08. 27.

Robotics and Sensor-Based Localization인용 수 4

한 줄 요약

이 종합적 서베이는 시각적 위치 추정 및 맵핑 기반의 딥러닝 기법에 대한 포괄적인 분류 체계와 분석을 제공하며, 시각적 오도메트리, 글로벌 재위치 지정, 맵핑 및 SLAM을 포함한다. 기존의 모델 기반 방법에 비해 딥러닝이 정확성과 내구성 향상에 기여할 잠재력을 평가하면서도, 자원 제약이 있는 시스템에서의 구현, 확장성, 해석 가능성, 효율성 등의 핵심 과제를 규명한다.

ABSTRACT

Deep learning based localization and mapping approaches have recently emerged as a new research direction and receive significant attentions from both industry and academia. Instead of creating hand-designed algorithms based on physical models or geometric theories, deep learning solutions provide an alternative to solve the problem in a data-driven way. Benefiting from the ever-increasing volumes of data and computational power on devices, these learning methods are fast evolving into a new area that shows potentials to track self-motion and estimate environmental model accurately and robustly for mobile agents. In this work, we provide a comprehensive survey, and propose a taxonomy for the localization and mapping methods using deep learning. This survey aims to discuss two basic questions: whether deep learning is promising to localization and mapping; how deep learning should be applied to solve this problem. To this end, a series of localization and mapping topics are investigated, from the learning based visual odometry, global relocalization, to mapping, and simultaneous localization and mapping (SLAM). It is our hope that this survey organically weaves together the recent works in this vein from robotics, computer vision and machine learning communities, and serves as a guideline for future researchers to apply deep learning to tackle the problem of visual localization and mapping.

연구 동기 및 목표

• 기존의 모델 기반 방법에 비해 딥러닝이 시각적 위치 추정 및 맵핑에 있어 유망한 접근법인지 평가하기.
• 시각적 오도메트리, 글로벌 재위치 지정, 맵핑, SLAM에 적용된 주요 딥러닝 기법들을 식별하고 분류하기.
• 현재의 딥러닝 기반 접근법의 한계를 분석하기, 특히 일반화 능력, 해석 가능성, 계산 비용에 초점 맞추기.
• 실제 환경 구현, 확장성, 안전성, 엣지 장치에서의 모델 효율성 등의 열린 과제를 부각시켜 향후 연구를 이끌기.

제안 방법

• 딥러닝 기반의 시각적 위치 추정 및 맵핑을 위한 체계적인 분류 체계를 제안하며, 작업 기반으로 분류: 시각적 오도메트리, 글로벌 재위치 지정, 맵핑, SLAM.
• 대규모 데이터셋에서 특징 표현 및 은닉 신경 맵핑을 학습하는 데이터 기반 접근법을 검토하며, 수작업으로 설계된 기하학적 모델을 대체한다.
• 비정의된 영상에서부터 자율 학습 신호를 생성하기 위해 새로운 시각 합성 기법을 활용한 자기지도 학습 기법을 분석하여 자세 및 깊이 추정에 활용.
• 학습된 깊이 추정치를 통합하여 단안 SLAM의 척도 모호성 문제를 해결하고 절대 자세 정확도를 향상시킨다.
• 신뢰도 및 안전성을 향상시키기 위해 신뢰도 추정 및 불확실성 측정 기법을 탐색한다.
• 모델 정확도, 크기, 추론 속도, 하드웨어 제약 조건 간의 상충 관계를 분석하며, 엣지 장치에 적합한 효율적인 네트워크 설계를 주장한다.

Figure 1 : A localization and mapping system exploits on-board sensors to perceive self-motion, global pose, scene geometry, and semantics. (a) Traditional model-based solutions employ hand-designed algorithms to transform input sensor data into desired output values. (c) Data-driven solutions, on t

실험 결과

연구 질문

• RQ1 딥러닝은 전통적인 기하학적 방법에 비해 시각적 위치 추정 및 맵핑의 정확성과 내구성에 얼마나 향상시킬 수 있는가?
• RQ2 자기지도 학습 및 신경 은닉 표현을 활용하면 시각 SLAM에서 레이블이 부여된 데이터 의존도를 어떻게 줄일 수 있는가?
• RQ3 실제 환경에서의 구현에 있어 딥러닝 기반 접근법의 주요 한계는 무엇인가, 특히 계산 비용, 모델 크기, 에너지 효율성 측면에서?
• RQ4 신뢰도 및 불확실성 정량화를 어떻게 딥러닝 모델에 통합하여 자율 시스템의 안전성과 신뢰성을 향상시킬 수 있는가?
• RQ5 모델 성능, 일반화 능력, 효율성 간의 상충 관계는 무엇이며, 이는 모바일 및 웨어러블 플랫폼에 배포하기 위해 어떻게 최적화될 수 있는가?

주요 결과

• 딥러닝 기반 기법은 어두운 조명 조건이나 동적인 환경과 같은 도전적인 상황에서 기존의 기하학적 방법에 비해 정확성과 내구성을 크게 향상시킨다.
• 새로운 시각 합성 기반 자기지도 학습은 레이블이 없는 영상에서 자세 및 깊이 추정을 위한 지도 신호를 생성함으로써, 지도 없는 엔드 투 엔드 학습을 가능하게 하며, 벤치마크 데이터셋에서 경쟁적인 성능을 달성한다.
• 학습된 깊이 추정치를 활용하면 단안 SLAM의 척도 모호성 문제를 해결하고, 외부 센서 없이도 절대 자세 추정이 가능해진다.
• 딥 모델에서의 불확실성 추정은 신뢰도 지표를 제공하여 신뢰할 수 없는 예측을 경고함으로써, 핵심 응용 분야에서의 시스템 안전성을 향상시킨다.
• 높은 정확도를 달성하고도, 딥러닝 모델은 일반적으로 도메인 외부 환경에 대해 일반화 능력이 떨어지고, 특히 엣지 장치에서는 상당한 계산 자원이 필요로 한다.
• 현재의 접근법은 확장성 측면에서 여전히 제한되어 있으며, 대부분의 방법이 도시나 실내 환경에서만 테스트되었고, 대규모 복잡한 환경 재구성에 능한 사례는 극히 소수에 그친다.

Figure 2 : The taxonomy of deep learning based visual localization and mapping. Individual modules can be integrated together into a complete deep learning based SLAM system. It is not mandatory to include all modules for the system to function effectively. In the diagram, rounded rectangles represe