[論文レビュー] Neural Implicit Dense Semantic SLAM

Yasaman Haghighi, Suryansh Kumar+2 more|arXiv (Cornell University)|Apr 27, 2023

Robotics and Sensor-Based Localization被引用数 6

ひとこと要約

本論文は、ORB-SLAM 3のトラッキングおよびループクロージャーを、Instant-NGPとNeuSに基づくニューラルインプリシットマッピングネットワークと統合した、革新的なRGBDビジョナルSLAMシステムを提案する。これにより、キーフレームからの密度のある3次元幾何、RGB、深度、セマンティックセグメンテーションのオンラインでメモリ効率の良い学習が可能になる。本手法は、ノイズが多かったりスパースな深度入力であっても、深度精度が1 cm未塔、25 m²のシーンで25 MB未塔のメモリ使用量を達成する。

ABSTRACT

Visual Simultaneous Localization and Mapping (vSLAM) is a widely used technique in robotics and computer vision that enables a robot to create a map of an unfamiliar environment using a camera sensor while simultaneously tracking its position over time. In this paper, we propose a novel RGBD vSLAM algorithm that can learn a memory-efficient, dense 3D geometry, and semantic segmentation of an indoor scene in an online manner. Our pipeline combines classical 3D vision-based tracking and loop closing with neural fields-based mapping. The mapping network learns the SDF of the scene as well as RGB, depth, and semantic maps of any novel view using only a set of keyframes. Additionally, we extend our pipeline to large scenes by using multiple local mapping networks. Extensive experiments on well-known benchmark datasets confirm that our approach provides robust tracking, mapping, and semantic labeling even with noisy, sparse, or no input depth. Overall, our proposed algorithm can greatly enhance scene perception and assist with a range of robot control problems.

研究の動機と目的

• 屋内シーンの幾何、RGB、深度、セマンティクスを含む、密度的でメモリ効率の良い3次元表現を生成する、強固でオンラインのビジョナルSLAMシステムの開発。
• 古典的vSLAM（スパースマップ）とニューラルSLAM（ループクロージャーなし、ドリフトあり）の限界を克服するため、古典的トラッキングおよびループクロージャーとニューラルインプリシットマッピングを統合すること。
• 一貫性のないまたはジャイロスコープ的なアノテーションが与えられた状況でも、キーフレームからの2次元セマンティックマップを用いて3次元空間における正確なセマンティックセグメンテーションを実現すること。
• 動的キーフレーム管理を用いた、各サブスペースごとに局所的マッピングネットワークを設けることで、大規模なシーンへのスケーラビリティを実現すること。
• ノイズが多かったりスパース、または深度が欠落している入力条件下でも、頑健な性能を示すことを実証すること。

提案手法

• 本システムは、幾何的および光度的基準に基づくキーフレーム選択を伴い、リアルタイムのカメラポーズ推定とループクロージャーにORB-SLAM 3を用いる。
• Instant-NGPに基づき、NeuSを拡張したニューラルインプリシットマッピングネットワークが、連続的な3次元表現において符号付き距離関数（SDF）、RGB、深度、セマンティックマップを学習する。
• 動的に維持されるキーフレームの集合に、光度的、幾何的（SDF）、セマンティック損失を適用して、マッピングネットワークを最適化する。
• マルチスケールで局所的なマッピング戦略により、グローバル空間をサブスペースに分割し、各サブスペースに独自のニューラルネットワークを設けることで、大規模なシーンへのスケーラビリティを実現する。
• トラッキング障害に対応するため、暗黙的ニューラル表現と明示的メッシュ再構築の間で切り替える「アクティブ／非アクティブメッシュパラダイム」を採用する。
• セマンティック監視は、キーフレームからの2次元セマンティックセグメンテーションマップを3次元空間に投影することで、ニューラルフィールドのセマンティックヘッドを監視する。

実験結果

リサーチクエスチョン

• RQ1 キーフレームの動的集合のみを用いて、オンラインで逐次的に効果的にトレーニング可能なニューラルインプリシットマッピングネットワークは実現可能か？
• RQ2 3次元アノテーションデータを必要とせず、キーフレームの2次元セマンティックマップから、正確に3次元密度的セマンティックセグメンテーションを学習できるか？
• RQ3 セマンティック監視を組み込むことで、特に平坦または模様のない領域において、ニューラルインプリシット幾何と深度推定の精度が向上するか？
• RQ4 古典的vSLAM（トラッキングおよびループクロージャー）とニューラルインプリシットマッピングを統合することで、ドリフトを低減し、大規模な屋内環境でも頑健に動作するか？
• RQ5 ノイズが多かったりスパース、または深度が欠落しているような入力条件下で、本システムの性能はどの程度か？

主な発見

• 本手法は、RGBD入力条件下でReplicaデータセットで平均L1深度誤差0.518 cm、office0シーケンスで0.3336 cmを達成し、高い幾何的精度を示した。
• RGB入力のみの条件下でも、office0シーケンスでL1深度誤差3.3 cmを達成し、先行するRGBのみの手法（例：NICE-SLAMでは11.12 cm）よりも顕著に低い誤差を示し、セマンティック監視の利点を示した。
• セマンティック監視を追加することで、office0シーケンスの深度誤差がRGBDのみの0.46 cmから0.31 cmに低下し、セマンティクスが幾何再構築を向上させることを示した。
• 25 m²のシーンにおいて、本システムは25 MB未塔のコンactなメモリフットプリントを維持し、効率的なストレージと推論を可能にした。
• アブレーションスタディにより、セマンティック監視がトレーニングの安定化と、特に平坦または低テクスチャ領域における幾何学的学習の向上に寄与することが確認された。定性的な比較でもその有効性が示された。
• office0シーケンスではPSNRが40.23 dB、SSIMが0.993を達成し、複雑な屋内環境でも高品質な色再現と幾何再構築を実現した。