[論文レビュー] Deep Learning for Visual Localization and Mapping: A Survey

Changhao Chen, Bing Wang+3 more|arXiv (Cornell University)|Aug 27, 2023

Robotics and Sensor-Based Localization被引用数 4

ひとこと要約

本サーベイは、視覚オドメトリ、グローバルリロケーション、マッピング、SLAMをカバーする、深層学習に基づく視覚的局所化およびマッピング手法の包括的な分類と分析を提供する。従来の手法と比較して、深層学習が耐障害性および精度を向上させる可能性を評価するとともに、リソース制約のあるシステムにおける展開、スケーラビリティ、解釈可能性、効率性の面での主な課題を特定する。

ABSTRACT

Deep learning based localization and mapping approaches have recently emerged as a new research direction and receive significant attentions from both industry and academia. Instead of creating hand-designed algorithms based on physical models or geometric theories, deep learning solutions provide an alternative to solve the problem in a data-driven way. Benefiting from the ever-increasing volumes of data and computational power on devices, these learning methods are fast evolving into a new area that shows potentials to track self-motion and estimate environmental model accurately and robustly for mobile agents. In this work, we provide a comprehensive survey, and propose a taxonomy for the localization and mapping methods using deep learning. This survey aims to discuss two basic questions: whether deep learning is promising to localization and mapping; how deep learning should be applied to solve this problem. To this end, a series of localization and mapping topics are investigated, from the learning based visual odometry, global relocalization, to mapping, and simultaneous localization and mapping (SLAM). It is our hope that this survey organically weaves together the recent works in this vein from robotics, computer vision and machine learning communities, and serves as a guideline for future researchers to apply deep learning to tackle the problem of visual localization and mapping.

研究の動機と目的

• 従来のモデルベース手法と比較して、深層学習が視覚的局所化およびマッピングにおいて有望なアプローチであるかどうかを評価すること。
• 視覚オドメトリ、グローバルリロケーション、マッピング、SLAMに適用された主要な深層学習技術を特定・分類すること。
• 現在の深層学習ベースのアプローチの限界、特に一般化性、解釈可能性、計算コストを分析すること。
• エッジデバイスにおけるモデル効率性を含む、実世界での展開、スケーラビリティ、安全性などの未解決課題を強調することで、今後の研究を導くこと。

提案手法

• 視覚的局所化およびマッピングにおける深層学習ベースの手法を、タスクごとに分類する構造的分類法を提案。視覚オドメトリ、グローバルリロケーション、マッピング、SLAMを対象とする。
• 大規模データセットから特徴表現および暗黙のニューラルマッピングを学習するデータ駆動型アプローチをレビュー。手作業で設計された幾何モデルに取って代わる。
• 未ラベル付き動画からポーズ推定および深度推定のための教師信号を生成するために、新規視点合成を用いた自己教師型学習技術を検討。
• 学習された深度推定値を統合することで、モノクローラルSLAMにおけるスケールのあいまいさを解消し、外部センサを用いずに絶対ポーズ推定を向上させる。
• 信頼性および安全性を高めるために、不確実性推定と信頼性指標を活用する。
• モデルの精度、サイズ、推論速度、ハードウェア制約の間のトレードオフを分析し、エッジデバイスへの展開を想定した効率的なネットワーク設計を提唱する。

Figure 1 : A localization and mapping system exploits on-board sensors to perceive self-motion, global pose, scene geometry, and semantics. (a) Traditional model-based solutions employ hand-designed algorithms to transform input sensor data into desired output values. (c) Data-driven solutions, on t

実験結果

リサーチクエスチョン

• RQ1 深層学習は、古典的な幾何的手法と比較して、視覚的局所化およびマッピングの精度と耐障害性をどの程度向上させ得るか？
• RQ2 自己教師型学習およびニューラルインプリシット表現を活用することで、視覚SLAMにおけるアノテート済みデータへの依存度をどの程度低減できるか？
• RQ3 特に計算コスト、モデルサイズ、エネルギー効率の観点から、深層学習ベースのアプローチが実世界での展開において直面する主な制限要因は何か？
• RQ4 解釈可能性および不確実性の定量化を深層学習モデルに統合することで、自律システムにおける安全性と信頼性をどの程度向上できるか？
• RQ5 モデルのパフォーマンス、一般化性、効率性の間にはどのようなトレードオフがあり、モバイルおよびウェアラブルプラットフォームへの展開を最適化するにはどうすればよいか？

主な発見

• 深層学習ベースの手法は、明るさが低い環境や動的シーンといった困難な条件下でも、従来の幾何的手法を上回る耐障害性と精度を実現している。
• 新規視点合成を用いた自己教師型学習により、真値ポーズや深度情報が不要なエンドツーエンドのSLAMシステムトレーニングが可能となり、ベンチマークデータセットで競争力のある性能を達成している。
• 学習された深度推定値を活用することで、モノクローラルSLAMにおけるスケールのあいまいさ問題が解消され、外部センサを用いずに絶対ポーズ推定が可能になった。
• 深層モデルにおける不確実性推定は、信頼できない予測を特定する信頼性指標を提供し、重要な用途におけるシステムの安全性を向上させる。
• 高い精度を達成している一方で、深層学習モデルはドメイン外環境への一般化性に欠けやすく、特にエッジデバイスでは膨大な計算リソースを要する傾向にある。
• 現在のアプローチはスケーラビリティに制限を受けており、多数の手法が都市部や屋内環境でのみテストされており、大規模かつ複雑な環境の再構築が可能なものはほとんどない。

Figure 2 : The taxonomy of deep learning based visual localization and mapping. Individual modules can be integrated together into a complete deep learning based SLAM system. It is not mandatory to include all modules for the system to function effectively. In the diagram, rounded rectangles represe