[論文レビュー] Structure PLP-SLAM: Efficient Sparse Mapping and Localization using Point, Line and Plane for Monocular, RGB-D and Stereo Cameras

Fangwen Shu, Jiaxuan Wang+2 more|arXiv (Cornell University)|Jul 13, 2022

Robotics and Sensor-Based Localization被引用数 4

ひとこと要約

本論文では、点、線、平面を統合することで、ロバストなカメラローカライゼーションとリアルタイムの構造的マッピングを実現する、モノクローラル、RGB-D、ステレオ視覚SLAMシステムであるStructure PLP-SLAMを提案する。3次元線の表現にプレュッカー座標を、平面の適合に適応的フィッティングを用いることで、TUM RGB-D、ICL-NUIM、EuRoCデータセットにおいて、最新のトラジェクトリ精度を達成し、既存手法よりも精度と意味的マップ品質の両面で優れている。

ABSTRACT

This paper presents a visual SLAM system that uses both points and lines for robust camera localization, and simultaneously performs a piece-wise planar reconstruction (PPR) of the environment to provide a structural map in real-time. One of the biggest challenges in parallel tracking and mapping with a monocular camera is to keep the scale consistent when reconstructing the geometric primitives. This further introduces difficulties in graph optimization of the bundle adjustment (BA) step. We solve these problems by proposing several run-time optimizations on the reconstructed lines and planes. Our system is able to run with depth and stereo sensors in addition to the monocular setting. Our proposed SLAM tightly incorporates the semantic and geometric features to boost both frontend pose tracking and backend map optimization. We evaluate our system exhaustively on various datasets, and show that we outperform state-of-the-art methods in terms of trajectory precision. The code of PLP-SLAM has been made available in open-source for the research community (https://github.com/PeterFWS/Structure-PLP-SLAM).

研究の動機と目的

• モノクローラルSLAMにおけるスケールの曖昧さと一貫性のない幾何最適化を、高次の幾何的特徴を統合することで解決すること。
• 点に加えて線と平面を用いることで、低テクスチャ環境や照明条件の変化に強いカメラローカライゼーションのロバスト性を向上させること。
• マンハッタンワールドのような強い仮定を必要としない、リアルタイムで部分的平面マッピングを実現すること。
• モノクローラル、RGB-D、ステレオ入力をサポートする、センサーアーギュメントに依存しないSLAMフレームワークを構築すること。
• 事前に構築された点-線マップに基づくリローカライゼーションモジュールを提供し、トラッキング失敗後の回復をロバストに実現すること。

提案手法

• 最小限で曖昧さのないパrameterizationを実現するため、3次元線をプレュッカー座標で表現するとともに、可視化および対応探索のためのエンドポイント表現を維持する。
• 初期平面事前分布を生成するためのCNNベースのインスタンス平面セグメンテーションネットワークを用い、その後にRANSACベースのグラフ最適化を適用して、ロバストな3次元平面適合を実現する。
• OpenVSLAMに基づくモジュラーで多特徴のSLAMパイプラインを実装し、ORBSLAM2に拡張して、ボンドル調整における点、線、平面の共同最適化を実現する。
• ノイズへの感受性を低減し、強い仮定を必要とせずに平面適合の信頼性を向上させるために、RANSACにおける適応的しきい値設定を適用する。
• 事前に構築された点-線マップを用いてループクロージャーとリローカライゼーションを統合し、3次元-2次元の点および線対応を用いたモーションオンリーバイアス最適化によりポーズ最適化を実現する。
• 高品質な平面のみを保持するマップリファイナを採用し、マップの一貫性を向上させるとともに、ノイズの拡散を低減する。

Figure 1: The proposed SLAM system utilizes point and line cloud for robust camera localization, with piece-wise planar reconstruction for semantic mapping. Here, the reconstructed maps are presented selectively for better visualization.

実験結果

リサーチクエスチョン

• RQ1 点に加えて線と平面を統合することで、困難な視覚的条件下でのカメラローカライゼーションのロバスト性が顕著に向上するか？
• RQ2 グラフベースのSLAMフレームワークにおいて、過剰パrameterizationを回避しながら、3次元線を効率的に表現・最適化できるか？
• RQ3 マンハッタンワールドのような強い幾何的仮定を必要とせず、モノクローラルSLAMでリアルタイムで部分的平面マッピングをロバストに実現できるか？
• RQ4 事前に構築された点-線マップを用いることで、点のみの手法に比べてリローカライゼーション性能が向上するか？
• RQ5 提案手法は、多様なセンサーモダリティおよびデータセットにおいて、最新のSLAMシステムと定量的に比較してどのように差をつけるか？

主な発見

• TUM RGB-Dデータセットでは、点-線-平面統合による平均ATE RMSEが1.87 cmに達し、SP-SLAM（1.51 cm）とManhattan SLAM（2.81 cm）を上回った。
• ICL-NUIMデータセットでは、点-線-平面統合による平均ATE RMSEが1.34 cmに達し、次善の手法（1.77 cm）を上回るトラジェクトリ精度を達成した。
• 点と線を併用したリローカライゼーションモジュールは、単一画像ローカライゼーション評価において、点のみの最適化に比べて絶対ポーズ誤差（APE）を最大30％まで低減した。
• 線と平面の補完的利用により、低テクスチャ環境を含む多様なシーンにおいて、ロバストな性能を示した。
• マップリファイナは低品質で小さな平面を効果的にフィルタリングし、マップの一貫性を向上させ、ノイズの拡散を低減したが、極めて低テクスチャなシーンでは平面再構築が制限された。
• GitHub上でコードをオープンソース化したことで、意味的SLAMにおける多特徴統合の再現可能性とさらなる研究が可能になった。

(a) Endpoints representation.