[論文レビュー] NICE-SLAM: Neural Implicit Scalable Encoding for SLAM

Zihan Zhu, Songyou Peng+6 more|arXiv (Cornell University)|Dec 22, 2021

Robotics and Sensor-Based Localization被引用数 7

ひとこと要約

NICE-SLAMは、階層的特徴グリッドを用いてシーンの幾何構造と色彩のニューラル暗黙表現を符号化するスケーラブルでリアルタイムな高密度RGB-D SLAMシステムを提案する。これにより、局所最適化が可能となり、再構築の詳細が向上する。複数の解像度で事前学習された幾何的事前知識を組み込むことで、従来のニューラル暗黙SLAM手法と比較して、より優れたスケーラビリティ、ノイズおよび動的物体に対するロバストネス、未観測領域の穴埋めの正確性を達成する。

ABSTRACT

Neural implicit representations have recently shown encouraging results in various domains, including promising progress in simultaneous localization and mapping (SLAM). Nevertheless, existing methods produce over-smoothed scene reconstructions and have difficulty scaling up to large scenes. These limitations are mainly due to their simple fully-connected network architecture that does not incorporate local information in the observations. In this paper, we present NICE-SLAM, a dense SLAM system that incorporates multi-level local information by introducing a hierarchical scene representation. Optimizing this representation with pre-trained geometric priors enables detailed reconstruction on large indoor scenes. Compared to recent neural implicit SLAM systems, our approach is more scalable, efficient, and robust. Experiments on five challenging datasets demonstrate competitive results of NICE-SLAM in both mapping and tracking quality. Project page: https://pengsongyou.github.io/nice-slam

研究の動機と目的

• 既存のニューラル暗黙SLAMシステムの限界、特に大規模なシーンにおける過剰に滑らかすぎる再構築とスケーラビリティの低さを解消すること。
• 複数レベルの局所的シーン情報を取り入れることで、未観測領域の詳細で予測可能な再構築を可能にすること。
• シーン表現に対する局所的更新を許容することで、グローバルな更新に代えてトラッキングのロバストネスと効率を向上させること。
• 大規模SLAMにおけるスケーラビリティを実現するグリッドベースのシーン表現と、ニューラル暗黙表現の予測能力を統合すること。

提案手法

• NICE-SLAMは、粗い、中程度、細かいレベルの複数の解像度の特徴グリッドを別々に用いて、シーンの幾何構造と色彩を表現する階層的特徴グリッドを採用する。
• 局所的で小さなMLPを用いて特徴グリッドから幾何構造と外観をデコードし、カメラの視界領域内での効率的な局所最適化を可能にする。
• 予測されたと観測されたRGBおよび深度画像間の再レンダリング損失を最小化することで、特徴グリッドを最適化する。
• 異なる空間解像度からの事前学習済みの幾何的事前知識を最適化をガイドするために使用し、詳細の保持と一般化性の向上を図る。
• スライディングウィンドウ方式のキーフレームで、カメラの姿勢とシーン特徴を同時に最適化するための局所的バンドル調整を適用する。これにより、トラッキングの正確性が向上する。
• 色表現の精緻化のための光度損失を用いる。これにより、最適化予算が限られている中でも、トラッキングの安定性が顕著に向上する。

実験結果

リサーチクエスチョン

• RQ1 グローバルMLPベースの表現と比較して、階層的ニューラル暗黙表現は、高密度RGB-D SLAMにおけるスケーラビリティと再構築の詳細をどのように向上させるか？
• RQ2 複数レベルの幾何的事前知識を組み込むことで、未観測領域におけるシーン幾何構造の予測能力にどのような影響を与えるか？
• RQ3 特徴グリッドの局所的最適化は、大規模なシーンにおけるトラッキングのロバストネスと計算効率をどの程度向上させるか？
• RQ4 動的物体や観測が欠落するような困難な条件下でも、提案手法はどのように性能を発揮するか？

主な発見

• NICE-SLAMは、ScanNet上で平均ATE RMSEが9.63 mmを達成し、局所的バンドル調整なしのベースライン（37.74 mm）および光度損失なしのベースライン（32.02 mm）を著しく上回った。
• 局所的バンドル調整なしのベースラインと比較して、ATE RMSEを63%削減した。これは、カメラの姿勢とシーン特徴の共同最適化が極めて重要であることを示している。
• NICE-SLAMは、穴を埋め込み、未観測領域に幾何構造を外挿する能力を有しており、未観測領域でノイズが多い予測を生成するiMAP*と比較して、滑らかでより正確な再構築を実現した。
• 動的物体が存在する状況でも、一貫した再投影精度と最適化中の動的ピixelの効果的なマスク処理により、トラッキングが安定していることが示された。
• iMAPのキーフレーム選択戦略を用いることで、収束が遅く、トラッキング性能も悪化した。これは、NICE-SLAM独自の適応的キーフレーム選択戦略の利点を示している。
• アブレーションスタディにより、階層的アーキテクチャおよび光度色表現の両方が、高いトラッキング精度と安定した最適化に不可欠であることが確認された。