[論文レビュー] Semantic Visual Simultaneous Localization and Mapping: A Survey

Kaiqi Chen, Xiao, Junhao+7 more|arXiv (Cornell University)|Sep 14, 2022

Robotics and Sensor-Based Localization被引用数 9

ひとこと要約

本調査は、意味的視覚SLAM（vSLAM）の包括的概要を提供し、意味的情報抽出および関連付けの手法、局所化とマッピングへの応用、最新のデータセットをレビューしている。深層学習による意味的理解とマルチモーダル融合を組み合わせることで、動的で複雑な環境における耐障害性と精度の向上が顕著に示されている。

ABSTRACT

Visual Simultaneous Localization and Mapping (vSLAM) has achieved great progress in the computer vision and robotics communities, and has been successfully used in many fields such as autonomous robot navigation and AR/VR. However, vSLAM cannot achieve good localization in dynamic and complex environments. Numerous publications have reported that, by combining with the semantic information with vSLAM, the semantic vSLAM systems have the capability of solving the above problems in recent years. Nevertheless, there is no comprehensive survey about semantic vSLAM. To fill the gap, this paper first reviews the development of semantic vSLAM, explicitly focusing on its strengths and differences. Secondly, we explore three main issues of semantic vSLAM: the extraction and association of semantic information, the application of semantic information, and the advantages of semantic vSLAM. Then, we collect and analyze the current state-of-the-art SLAM datasets which have been widely used in semantic vSLAM systems. Finally, we discuss future directions that will provide a blueprint for the future development of semantic vSLAM.

研究の動機と目的

• 意味的vSLAMの発展を体系的にレビューし、動的で複雑な環境における従来のvSLAMとの優位性を明らかにすること。
• vSLAMシステム内における意味的情報抽出、関連付け、活用に関する主な課題を分析すること。
• 意味的vSLAM研究に関連する30のオープンソースSLAMデータセットを収集・評価・比較すること。
• 意味的vSLAMにおける未解決問題と今後の研究方向性（特にマルチモーダルセンシングとマルチロボット協調）を特定・議論すること。
• 30の意味的vSLAMシステムを詳細に比較し、技術的アプローチと性能特性に焦点を当てる。

提案手法

• オブジェクト検出、セマンティックセグメンテーション、インスタンスセグメンテーションを含む、深層学習に基づく意味的情報抽出手法の分類とレビュー。
• 距離、方向、外観などの幾何学的および意味的制約を用いた、時間的・視点的観測間の関連付け技術の分析。
• 意味的情報をvSLAMパイプラインに統合し、局所化とマッピングの向上を図ることの評価。ピクセルレベルおよびオブジェクトレベルの意味的マップの構築を含む。
• 意味的アノテーション、センサ構成、意味的vSLAM研究への適性に基づいて、30のオープンソースSLAMデータセットをレビュー・分類すること。
• 精度、耐障害性、計算負荷の観点から、従来のvSLAMと意味的vSLAMを比較し、困難な環境下での性能向上を強調すること。
• RGB-D、LiDAR、レーダー、イベントカメラなどのマルチモーダルセンサ統合や、マルチロボット協調的意味的vSLAMシステムといった、新たなトレンドの探求。

実験結果

リサーチクエスチョン

• RQ1 意味的vSLAMシステムは、動的かつテクスチャが乏しい環境において、従来のvSLAMと比較してどのように局所化の正確性と耐障害性を向上させるか？
• RQ2 リアルタイムvSLAMシステムにおいて、意味的情報をリアルタイムで抽出・関連付けるために最も効果的な深層学習手法は何か？
• RQ3 同じカテゴリの複数のオブジェクトや隠蔽されたオブジェクトが存在する状況で、オブジェクト関連付けと意味的マップの一貫性の維持における主な課題は何か？
• RQ4 マルチモーダルセンサ統合とマルチロボット協調は、意味的vSLAMシステムの性能と信頼性をどのように向上させるか？
• RQ5 センサ統合、リアルタイム処理、環境間での一般化性の観点から、意味的vSLAMにおける現在の制限と未解決の研究課題は何か？

主な発見

• 意味的vSLAMシステムは、深層学習による認識から得られる意味的制約を活用することで、動的かつテクスチャが乏しい環境における局所化の耐障害性を顕著に向上させる。
• オブジェクト検出、セマンティックセグメンテーション、インスタンスセグメンテーションが意味的情報抽出に用いられる主な深層学習手法であり、インスタンスセグメンテーションが最も正確なオブジェクトレベルの理解を提供する。
• 意味的情報を統合することで、ピクセルレベルおよびオブジェクトレベルの意味的マップの構築が可能となり、シーン理解力とナビゲーション能力が向上する。
• RGB、深度、LiDAR、レーダー、イベントカメラを組み合わせたマルチモーダルセンサ統合により、オブジェクト認識が向上し、特に遮蔽や照明変化下でも関連付けの曖昧さが低減される。
• マルチロボット協調的意味的vSLAMシステムは、複数視点からの観測によりオブジェクト関連付けとグローバル一貫性が向上するが、計算負荷と同期の複雑さが増加する。
• 本調査では30の代表的意味的vSLAMシステムと30の関連SLAMデータセットを同定した。2018年から2022年の最新研究の多くは、エンドツーエンド学習、リアルタイム性能、実環境における耐障害性に焦点を当てている。