[論文レビュー] SemGauss-SLAM: Dense Semantic Gaussian Splatting SLAM

Siting Zhu, Renjie Qin+3 more|arXiv (Cornell University)|Mar 12, 2024

Robotics and Sensor-Based Localization被引用数 4

ひとこと要約

SemGauss-SLAM は、リアルタイムでの高密度な意味的マッピング、高い耐性を持つカメラトラッキング、高精細レンダリングを実現する、3Dガウスに基づく意味的SLAMシステムの最初のものである。意味的特徴埋め込みを3Dガウスに統合し、ドリフト低減のための特徴レベル損失と意味的インフォームドバンドル調整を導入することで、Replica および ScanNet データセットにおいて、トラッキング、再構築、意味的セグメンテーションの精度で最先端の性能を達成した。

ABSTRACT

We propose SemGauss-SLAM, a dense semantic SLAM system utilizing 3D Gaussian representation, that enables accurate 3D semantic mapping, robust camera tracking, and high-quality rendering simultaneously. In this system, we incorporate semantic feature embedding into 3D Gaussian representation, which effectively encodes semantic information within the spatial layout of the environment for precise semantic scene representation. Furthermore, we propose feature-level loss for updating 3D Gaussian representation, enabling higher-level guidance for 3D Gaussian optimization. In addition, to reduce cumulative drift in tracking and improve semantic reconstruction accuracy, we introduce semantic-informed bundle adjustment. By leveraging multi-frame semantic associations, this strategy enables joint optimization of 3D Gaussian representation and camera poses, resulting in low-drift tracking and accurate semantic mapping. Our SemGauss-SLAM demonstrates superior performance over existing radiance field-based SLAM methods in terms of mapping and tracking accuracy on Replica and ScanNet datasets, while also showing excellent capabilities in high-precision semantic segmentation and dense semantic mapping.

研究の動機と目的

• 既存手法の意味的精度とドリフト蓄積の制限を克服するリアルタイムで高密度な意味的SLAMシステムの開発。
• 事前に定義されたシーン境界が不要な、非有界で効率的な3D意味的マッピングを、2D意味的埋め込みから実現すること。
• 最適化におけるマルチビュー意味的整合性を活用することで、トラッキングの耐性とマッピングの一貫性を向上させること。
• 3Dガウス表現を用いて、高品質な意味的新規視点合成と写真同等の再構築を達成すること。
• カメラポーズとシーン表現を同時に最適化する意味的インフォームドバンドル調整により、SLAMにおける累積的ドリフトを低減すること。

提案手法

• 3Dガウス表現に意味的特徴埋め込みを直接統合し、シーンの空間的レイアウト内に意味的情報を符号化する。
• 高レベルの意味的特徴を用いて3Dガウス最適化をガイドする特徴レベル損失関数を導入し、収束速度の向上と詳細の忠実度向上を実現する。
• マルチビュー意味的整合性を制約として用いる意味的インフォームドバンドル調整を提案し、カメラポーズと3Dガウス表現を同時に最適化する。
• 共通視界フレームを活用して意味的関連付けを確立し、疎に観測された領域でも耐性のある最適化を可能にする。
• 3Dガウススプラッティングを用いて効率的かつ高品質なレンダリングを実現し、特徴レベルでの意味的監視を統合してシーン表現を強化する。
• 2段階の最適化パイプラインを採用：まず2D意味的特徴を直接伝搬により3Dに移行させた後、幾何的・光度的・意味的制約を統合して共同で最適化する。

実験結果

リサーチクエスチョン

• RQ1 3Dガウス表現は、正確な3D意味的マッピングを実現するリアルタイムで高密度な意味的SLAMを効果的に拡張できるか？
• RQ2 2Dから3D空間への意味的特徴埋め込みを、非有界かつ高速な意味的最適化を可能にする形で、どのように効率的に伝搬できるか？
• RQ3 特徴レベル損失は、3Dガウスに基づくシーン表現における意味的セグメンテーション精度と収束速度を向上させられるか？
• RQ4 従来の幾何的最適化のみのバンドル調整と比較して、意味的インフォームドバンドル調整は累積的ドリフトをどの程度低減できるか？
• RQ5 意味的制約の統合は、新規視点の意味的合成と再構築品質をどの程度向上させるか？

主な発見

• SemGauss-SLAM は、Replica データセットで92.81のmIoUを達成し、SNI-SLAM よりも9.21ポイント高い。
• ルーム0シーンではRMSEが0.26、Depth L1が0.54にまで低下し、優れた幾何的再構築精度を示した。
• 特徴レベル損失により、3つのReplicaシーン平均でmIoUが2.71ポイント向上し、境界部や小物オブジェクトのセグメンテーションで顕著な向上が見られた。
• 意味的インフォームドバンドル調整により、意味的制約なしのベースラインと比較してRMSEが0.09、Depth L1が0.14低下し、トラッキングと幾何的精度への影響が明確に示された。
• アブレーションスタディの結果、ドリフト低減と意味的精度向上の観点で、RGB や深度制約単体よりも意味的制約がはるかに効果的であることが確認された。
• 定性的な結果から、特に天井など観測が不十分な領域においても、意味的新規視点合成の品質が顕著に向上しており、ベースライン手法で誤分類されがちな領域でも良好な性能を示した。