[論文レビュー] S-Graphs+: Real-time Localization and Mapping leveraging Hierarchical Representations

Hriday Bavle, José Luis Sánchez-López+3 more|arXiv (Cornell University)|Dec 22, 2022

3D Surveying and Cultural Heritage被引用数 10

ひとこと要約

S-Graphs+ は、キーフレーム、壁面平面、部屋、床レベルの4層構造を持つリアルタイムで階層的な要因グラフを導入し、LiDAR データを用いた新規のリアルタイム部屋および床セグメンテーションアルゴリズムを活用することで、ロボットの自己位置推定と3次元シーン理解を統合的に最適化する。この手法により、2番目に優れた手法よりも平均で10.67%の精度向上を達成し、ローカライゼーションの正確性と環境の状況認識能力が向上する。

ABSTRACT

In this paper, we present an evolved version of Situational Graphs, which jointly models in a single optimizable factor graph (1) a pose graph, as a set of robot keyframes comprising associated measurements and robot poses, and (2) a 3D scene graph, as a high-level representation of the environment that encodes its different geometric elements with semantic attributes and the relational information between them. Specifically, our S-Graphs+ is a novel four-layered factor graph that includes: (1) a keyframes layer with robot pose estimates, (2) a walls layer representing wall surfaces, (3) a rooms layer encompassing sets of wall planes, and (4) a floors layer gathering the rooms within a given floor level. The above graph is optimized in real-time to obtain a robust and accurate estimate of the robots pose and its map, simultaneously constructing and leveraging high-level information of the environment. To extract this high-level information, we present novel room and floor segmentation algorithms utilizing the mapped wall planes and free-space clusters. We tested S-Graphs+ on multiple datasets, including simulated and real data of indoor environments from varying construction sites, and on a real public dataset of several indoor office areas. On average over our datasets, S-Graphs+ outperforms the accuracy of the second-best method by a margin of 10.67%, while extending the robot situational awareness by a richer scene model. Moreover, we make the software available as a docker file.

研究の動機と目的

• ロボットの自己位置推定と高レベルのシーン理解を統合的に最適化する、密結合でリアルタイムな要因グラフの開発。
• 一つの最適化可能なグラフ内に意味的および幾何的表現を統合することで、従来の SLAM システムの限界を克服すること。
• 自由空間クラスタと壁面平面データを用いた部屋および床検出の精度を向上させ、ヒューリスティックに依存するのを減らすこと。
• 階層的シーンモデリングにより、建設現場やオフィスビルなど複雑な屋内環境でも頑健な性能を発揮すること。
• Docker 対応のオープンソースソフトウェアを公開し、研究分野への広範な採用と再現可能性を促進すること。

提案手法

• システムは、キーフレーム、壁面平面、部屋、床レベルの4層構造を持つ要因グラフを採用し、各層が幾何的および意味的制約で結びつけられている。
• 自由空間クラスタと検出された壁面平面を統合することで、新規のフロントエンドがリアルタイムで部屋セグメンテーションを実行し、リコールを向上させるとともにヒューリスティック依存度を低減する。
• 床セグメンテーションは、現在マッピング済みのすべての壁面平面を用いて床中心を推定することで実現され、床レベルの一貫性が確保される。
• バックエンドでは、リアルタイム最適化フレームワークを採用し、ロボットの自己位置、壁面平面パラメータ、部屋境界、床割り当てを同時に最適化する。
• システムは LiDAR 測定値を活用し、幾何的制約と意味的属性（例：部屋、床）を1つの要因グラフに統合する。
• 新規に導入された「部屋-壁」要因により、部屋境界が構成する壁面平面に密接に結合され、構造的一致性と最適化精度が向上する。

実験結果

リサーチクエスチョン

• RQ1 階層的で多層構造の要因グラフは、意味的シーン理解を統合することで、リアルタイム SLAM の精度を向上させることができるか？
• RQ2 部屋および床セグメンテーションの統合は、複雑な屋内環境における自己位置推定とマップの一貫性をどのように向上させるか？
• RQ3 本手法は、トラジェクトリの精度と耐障害性において、最先端の SLAM システムをどの程度上回るか？
• RQ4 複数の部屋を有する建物や建設現場など、大規模で複雑な環境を扱う中で、リアルタイム性能を維持できるか？
• RQ5 自由空間クラスタと壁面平面の使用は、ヒューリスティックベースの手法と比較して、部屋検出のリコールをどの程度向上させるか？

主な発見

• S-Graphs+ は、複数のシミュレーテッドおよび実世界のデータセットにおいて、2番目に優れた手法よりも平均で10.67%の自己位置推定精度の向上を達成した。
• TIERS データセットでは、S-Graphs+ に FLOAM オドメトリを組み合わせた場合、FLOAM 単体に比べて ATE を 43.2% 減少させ、2番目に優れたベースラインに比べて 14.59% 減少させた。
• 挑戦的な T11 シーケンスでは、S-Graphs+ が FLOAM の精度を 165.8% 向上させ、非マンハッタン環境でも優れた性能を示した。
• C2F1 のような複雑なレイアウトにおいて、S-Graphs+ は前駆系に比べて部屋検出のリコールが顕著に高く、マップ精度の向上に直接寄与した。
• 平面、部屋、床、バックエンド処理のすべてのモジュールが、17分間のシーケンスでもリアルタイム性能を維持しており、平均してバックエンドの計算時間は174ms未満であった。
• RGB または意味的検出モデルに依存せず、LiDAR データのみを用いてリアルタイムで部屋および床をセグメンテーションするのに成功した。