[論文レビュー] SGS-SLAM: Semantic Gaussian Splatting For Neural Dense SLAM

Mingrui Li, Shuhong Liu+5 more|arXiv (Cornell University)|Feb 5, 2024

Robotics and Sensor-Based Localization被引用数 8

ひとこと要約

SGS-SLAMは、3Dガウシアンスプラッティングを用いて外観、幾何、そして2Dセマンティック事前情報を共同最適化するセマンティック密集ビジュアルSLAMシステムで、リアルタイムレンダリング、正確な3Dセマンティックセグメンテーション、および物体レベルのシーン編集を実現します。

ABSTRACT

We present SGS-SLAM, the first semantic visual SLAM system based on Gaussian Splatting. It incorporates appearance, geometry, and semantic features through multi-channel optimization, addressing the oversmoothing limitations of neural implicit SLAM systems in high-quality rendering, scene understanding, and object-level geometry. We introduce a unique semantic feature loss that effectively compensates for the shortcomings of traditional depth and color losses in object optimization. Through a semantic-guided keyframe selection strategy, we prevent erroneous reconstructions caused by cumulative errors. Extensive experiments demonstrate that SGS-SLAM delivers state-of-the-art performance in camera pose estimation, map reconstruction, precise semantic segmentation, and object-level geometric accuracy, while ensuring real-time rendering capabilities.

研究の動機と目的

• 密集SLAMをExplicit Gaussian表現で動機づけ、NeRF風の過度平滑化を克服し、リアルタイムレンダリングと物体レベル編集を可能にする。
• 外観、深度/幾何、セマンティック信号をガウシアンで jointly 融合するマルチチャネル最適化フレームワークを提案する。
• セマンティック特徴損失とセマンティック認識付きキーフレーム選択を導入し、地図品質と累積誤差に対する頑健性を向上させる。
• 実時間レンダリングを伴う、Syntheticおよび実データセット上での最先端のトラッキング、マッピング、3Dセマンティックセグメンテーションを実証する。
• セマンティックラベルに対応するガウシャン群を操作することで、シーン編集などのダウンストリーム機能を実現する。

提案手法

• シーンをGeometry、Appearance、Semanticsのチャネルを持つ明示的な3Dガウシアン放射場として表現する。
• differentiable splattingと深度認識の前方-後方合成（最大体積レンダリング）を介して2Dへガウシアンをレンダリングする。
• 深度、色、2Dセマンティック再投影をシルエットベースの可視性マスキングと組み合わせたマルチチャネル損失L_trackingを用いる。
• 深度、色（SSIMベース）、セマンティックカラー項を組み合わせたマッピング損失で、ガウシアンを濃縮して幾何、外観、セマンティックチャネルを共同最適化することで地図再構成を行う。
• 幾何的重複とセマンティック-mIoU差に基づく二レベルのキーフレーム選択戦略を導入し、トラッキングとマッピングを安定化させる。
• 全モデルを再訓練することなく、セマンティックラベルに対応するガウシアン群を編集することで物体レベルのシーン操作を可能にする。

Figure 1: The illustration of the proposed SGS-SLAM. It employs 2D inputs encompassing appearance, geometry, and semantic information, leveraging Gaussian Splatting and differentiable rendering for multi-channel parameter optimization. During the mapping process, SGS-SLAM maps the 2D semantic prior

実験結果

リサーチクエスチョン

• RQ1 3Dガウシアン密集表現をマルチチャネル監 supervision で最適化して、高忠実度レンダリングと正確な3Dセマンティックセグメンテーションを実現できるか。
• RQ2 キーフレーム選択にセマンティック情報を組み込むことで、SLAMの頑健性と地図品質が時間とともに改善されるか。
• RQ3 セマンティックに導かれた最適化が物体レベルの幾何とダウンストリームのシーン編集タスクにどのように影響するか。
• RQ4 Syntheticと実データのリアルタイムSLAMにおけるExplicit Gaussian表現の性能とメモリの影響はどうか。
• RQ5 SGS-SLAMはトラッキング、マッピング、セマンティックセグメンテーションの精度でNeRFベースのセマンティックSLAMアプローチとどのように比較されるか。

主な発見

• SGS-SLAMは論文の実験でReplica/ScanNet様のベンチマークにおいて、トラッキング（ATE RMSE）とマッピング（Depth L1, PSNR）の指標で最先端または優位な性能を達成する。
• 明示的なガウシアン表現とマルチチャネル最適化は高忠実なエッジ保持とシャープな物体境界を生み出し、NeRFの過度平滑化を緩和する。
• 2Dセマンティック事前情報を明示的なチャネルとして組み込むことで、3Dセマンティックセグメンテーションの精度が向上し、NeRFベースのセマンティックSLAMベースラインに対して改善が報告されている。
• セマンティック誘導キーフレーム選択と不確実性重み付けにより、累積トラッキング誤差が原因のドリフトと誤再構成を低減する。
• ガウシアン操作によるシーン編集（例：セマンティックにラベル付けされた物体の削除や変換）は、分離されたガウシアン表現のおかげで再訓練なしにリアルタイムで実現可能である。

Figure 2: Qualitative comparison of our method and the baselines for reconstruction across three scenes from the Replica Dataset Straub et al. ( 2019 ) , with key details accentuated using colorful boxes. The results demonstrate that our method delivers more high-fidelity and robust reconstructions,