[論文レビュー] A Survey on Deep Learning for Localization and Mapping: Towards the Age of Spatial Machine Intelligence

Changhao Chen, Bing Wang+3 more|arXiv (Cornell University)|Jun 22, 2020

Robotics and Sensor-Based Localization参考文献 251被引用数 106

ひとこと要約

この論文は、位置合わせと地図作成に関する深層学習アプローチの包括的な分類と調査を提供し、オドメトリ、マッピング、グローバル定位、SLAMをカバーし、空間機械知能システム（SMIS）に向けた制限と今後の方向性を論じる。

ABSTRACT

Deep learning based localization and mapping has recently attracted significant attention. Instead of creating hand-designed algorithms through exploitation of physical models or geometric theories, deep learning based solutions provide an alternative to solve the problem in a data-driven way. Benefiting from ever-increasing volumes of data and computational power, these methods are fast evolving into a new area that offers accurate and robust systems to track motion and estimate scenes and their structure for real-world applications. In this work, we provide a comprehensive survey, and propose a new taxonomy for localization and mapping using deep learning. We also discuss the limitations of current models, and indicate possible future directions. A wide range of topics are covered, from learning odometry estimation, mapping, to global localization and simultaneous localization and mapping (SLAM). We revisit the problem of perceiving self-motion and scene understanding with on-board sensors, and show how to solve it by integrating these modules into a prospective spatial machine intelligence system (SMIS). It is our hope that this work can connect emerging works from robotics, computer vision and machine learning communities, and serve as a guide for future researchers to apply deep learning to tackle localization and mapping problems.

研究の動機と目的

• 自律エージェントおよび空間AIの基盤として、ローカライゼーションとマッピングを動機づける。
• オドメトリ、マッピング、グローバル定位、SLAMの深層学習手法を体系化する新しい分類法を提案する。
• エンドツーエンド、ハイブリッド、教師なし学習アプローチと、それらの実世界のセンサデータへの適用を調査する。
• ロボティクス、コンピュータビジョン、MLの分野横断的な研究を導くために、限界・課題・今後の方向性を論じる。

提案手法

• ローカライゼーションとマッピング（オドメトリ、マッピング、グローバル定位、SLAM）の深層学習アプローチの分類法を提案する。
• オドメトリ推定と姿勢・軌跡復元のための教師あり、教師なし/自己教師あり、およびハイブリッド学習フレームワークをレビューする。
• 視覚、慣性、LiDARセンサーモダリティと、DL手法が従来の幾何モデルとどのように統合されるかを論じる。
• DLベースのSLAMバックエンドにおける頑健性、一般化、スケール回復、不確実性推定を分析する。
• 知覚、ローカライゼーション、マッピングの統合設計図として Spatial Machine Intelligence System (SMIS) を導入する。

実験結果

リサーチクエスチョン

• RQ1 オドメトリ推定、マッピング、グローバル定位、SLAMのためのDLベースの方法にはどのようなものがあるか。
• RQ2 エンドツーエンド、教師なし/自己教師あり、ハイブリッドなDLアプローチは、従来のモデルベース手法と比較して精度と頑健性でどうであるか。
• RQ3 現在のDLベースのローカライゼーションとマッピングシステムの限界（一般化、解釈性、計算）とは何か。
• RQ4 長期的自律性のために、DLベースの知覚モジュールを統一された Spatial Machine Intelligence System (SMIS) に統合するにはどうすればよいか。

主な発見

• DL手法はデータから直接姿勢変換を学習でき、単眼設定でも学習を通じてスケールを提供できる。
• 教師なし/自己教師付きのVO/VIOアプローチは、ビュー合成と幾何的一貫性損失を用いて深度と運動を回復し、一部のスケールとダイナミクスの問題に対処する。
• 深層深度/姿勢予測と古典的幾何バックエンドを組み合わせたハイブリッドモデルは、純粋なエンドツーエンドや伝統的なVO/VIOシステムをしばしば上回る。
• DLベースのSLAMエコシステムは、センサノイズや動的環境に対する頑健性の面で有望だが、一般化、解釈性、計算コストの高さは依然として課題である。
• 本調査は、DLによるローカライゼーション/マッピングを Spatial Machine Intelligence System (SMIS) の枠組みとして位置づけ、ロボティクス、コンピュータビジョン、ML のコミュニティを結びつける。