[論文レビュー] Multi-modal Semantic SLAM for Complex Dynamic Environments

Han Wang, Jing Ying Ko+1 more|arXiv (Cornell University)|May 9, 2022

Robotics and Sensor-Based Localization被引用数 5

ひとこと要約

本論文は、幾何的クラスタリングと視覚的セマンティックセグメンテーションを統合することで、複雑な動的環境における耐性を向上させるマルチモーダル意味的 SLAM フレームワークを提案する。『見ることから考える』メカニズムを用いて特徴表現を強化し、マルチモーダルな手がかりを統合することで、ベースラインと比較して局所化のずれを 59% 減少させ、10 Hz を超えるリアルタイム性能を達成し、正確な動的物体の除外と密度の高い静的マップ作成を実現した。

ABSTRACT

Simultaneous Localization and Mapping (SLAM) is one of the most essential techniques in many real-world robotic applications. The assumption of static environments is common in most SLAM algorithms, which however, is not the case for most applications. Recent work on semantic SLAM aims to understand the objects in an environment and distinguish dynamic information from a scene context by performing image-based segmentation. However, the segmentation results are often imperfect or incomplete, which can subsequently reduce the quality of mapping and the accuracy of localization. In this paper, we present a robust multi-modal semantic framework to solve the SLAM problem in complex and highly dynamic environments. We propose to learn a more powerful object feature representation and deploy the mechanism of looking and thinking twice to the backbone network, which leads to a better recognition result to our baseline instance segmentation model. Moreover, both geometric-only clustering and visual semantic information are combined to reduce the effect of segmentation error due to small-scale objects, occlusion and motion blur. Thorough experiments have been conducted to evaluate the performance of the proposed method. The results show that our method can precisely identify dynamic objects under recognition imperfection and motion blur. Moreover, the proposed SLAM framework is able to efficiently build a static dense map at a processing rate of more than 10 Hz, which can be implemented in many practical applications. Both training data and the proposed method is open sourced at https://github.com/wh200720041/MMS_SLAM.

研究の動機と目的

• 動的環境における従来の SLAM の限界、特に移動物体によるずれやマッピング誤差を解消すること。
• 運動ブラー、隠蔽、小規模な物体といった困難な条件下でもインスタンスセグメンテーションの耐性を向上させること。
• マルチモーダルな意味的情報を用いて動的・静的要因を分離する、リアルタイムで計算効率の良い SLAM システムの開発。
• スマート工場における移動する人間や AGV を含む複雑な産業環境で、信頼性の高い密度の高いセマンティックマップを実現すること。

提案手法

• より強力なオブジェクト特徴表現を学習できるように、バックボーンネットワークに『見ることから考える』メカニズムを統合し、セグメンテーション精度を向上させる。
• 視覚的セマンティックセグメンテーションと幾何的クラスタリングのみの組み合わせにより、不完全な 2D インスタンスセグメンテーションに依存するのを軽減する。
• マルチモーダル認識を SLAM パイプラインに統合し、動的物体をフィルタリングして正確な局所化を維持する。
• 視覚的セマンティック認識に SOLOv2 を用い、マルチスケール特徴学習とアテンション機構で強化する。
• 二段階のフィルタリング戦略を採用：第一に、ディープラーニングで動的物体をセグメンテーション；第二に、幾何的一致性を用いて検証・精緻化する。
• 検出された動的物体を除去することで、意味的ラベルとバウンディングボックスを保持した密度の高い 3D 静的マップを構築する。

実験結果

リサーチクエスチョン

• RQ1 視覚的および幾何的手がかりのマルチモーダル統合は、動的環境における意味的 SLAM の耐性をどのように向上させるか？
• RQ2 『見ることから考える』メカニズムは、オブジェクト特徴表現とセグメンテーション精度をどの程度向上させるか？
• RQ3 幾何的クラスタリングのみで、運動ブラーと隠蔽によって引き起こされるセグメンテーション誤差を効果的に低減できるか？
• RQ4 本手法は、視覚のみのアプローチとベースライン SLAM と比較して、動的条件下での局所化ずれの観点からどの程度優れているか？
• RQ5 高精度な動的物体検出と静的マップ作成を実現しながら、10 Hz を超えるリアルタイム性能を維持できるか？

主な発見

• 提案されたマルチモーダル SLAM は、平均移動ずれ誤差（ATDE）を 0.875 cm まで低減し、意味認識なしのベースライン（4.834 cm）と比較して 59% の改善を達成した。
• 最大移動ずれ誤差（MTDE）は 0.502 cm にまで低減され、視覚のみのアプローチ（0.667 cm）とベースライン（1.877 cm）を大きく上回った。
• 本システムは 10 Hz を超えるリアルタイム処理を達成し、スマート工場のような動的産業環境への実用的導入を可能にした。
• 人間や AGV といった動的物体が正確に検出され、静的マップから除去され、リアルタイムのバウンディングボックスと色分けされたステータス可視化（赤：人間、緑：AGV）が実現した。
• アブレーションスタディおよび実際の AGV 実験を通じて、運動ブラー、隠蔽、小規模な物体に起因するずれを効果的に緩和できることを検証した。
• オープンソース実装は https://github.com/wh200720041/MMS_SLAM で公開されており、再現性とさらなる研究を支援している。