[論文レビュー] PLGSLAM: Progressive Neural Scene Represenation with Local to Global Bundle Adjustment

Tianchen Deng, Guole Shen+6 more|arXiv (Cornell University)|Dec 15, 2023

Robotics and Sensor-Based Localization被引用数 5

ひとこと要約

PLGSLAMは、大規模な屋内シーンにおける高精度な再構築と頑健なカメラトラッキングを実現するため、動的で局所的なシーン表現（三平面とMLPを用いて）を用いたプログレッシブなニューラルSLAMシステムを提案する。累積的なポーズドリフトを軽減するため、グローバルキーフレームデータベースを活用した局所からグローバルへのバンドル調整を導入し、小規模および大規模なデータセットにおいて、再構築精度とトラッキングの頑健性の両面で最先端の性能を達成している。

ABSTRACT

Neural implicit scene representations have recently shown encouraging results in dense visual SLAM. However, existing methods produce low-quality scene reconstruction and low-accuracy localization performance when scaling up to large indoor scenes and long sequences. These limitations are mainly due to their single, global radiance field with finite capacity, which does not adapt to large scenarios. Their end-to-end pose networks are also not robust enough with the growth of cumulative errors in large scenes. To this end, we introduce PLGSLAM, a neural visual SLAM system capable of high-fidelity surface reconstruction and robust camera tracking in real-time. To handle large-scale indoor scenes, PLGSLAM proposes a progressive scene representation method which dynamically allocates new local scene representation trained with frames within a local sliding window. This allows us to scale up to larger indoor scenes and improves robustness (even under pose drifts). In local scene representation, PLGSLAM utilizes tri-planes for local high-frequency features with multi-layer perceptron (MLP) networks for the low-frequency feature, achieving smoothness and scene completion in unobserved areas. Moreover, we propose local-to-global bundle adjustment method with a global keyframe database to address the increased pose drifts on long sequences. Experimental results demonstrate that PLGSLAM achieves state-of-the-art scene reconstruction results and tracking performance across various datasets and scenarios (both in small and large-scale indoor environments). The code is open-sourced at https://github.com/dtc111111/plgslam.

研究の動機と目的

• 長時間にわたるシーケンスにおいて、有限な容量に起因するグローバルな放射場の限界と、累積的なポーズドリフトが生じる大規模な屋内シーンにおける従来のニューラルSLAMシステムの課題を解決すること。
• カメラが移動するに従い、スライディングウインドウ内で動的に局所的なシーン表現を割り当てることで、シーン表現のスケーラビリティと頑健性を向上させること。
• 高周波数の特徴を三平面で、低周波数の滑らかさと未観測領域の補完をMLPでモデル化することで、再構築の精度と滑らかさを向上させること。
• すべての歴史的キーフレームを活用した最適化により、長時間シーケンスにおける累積的なポーズ誤差を低減する局所からグローバルへのバンドル調整を導入すること。
• 小規模な屋内部屋と大規模な複数室環境の両方で、高精度を維持しながらリアルタイム性能を達成すること。

提案手法

• カメラが現在の局所領域の境界に近づいた際に、動的に新しい局所的シーン表現を初期化することで、大規模シーンのスケーラブルなモデリングを実現する。
• 24 cmおよび6 cmの解像度と32チャネルの特徴マップを有する三平面を用いて、局所的な高周波数の幾何とテクスチャの詳細を符号化する。
• 二層のMLP（32個の隠れユニット）を用いて三平面の特徴と組み合わせ、低周波数のグローバル特徴、滑らかさ、および未観測領域の補完をモデル化する。
• すべての過去の観測を格納するグローバルキーフレームデータベースを維持し、すべての歴史的フレームにおける再投影誤差の最小化を可能にする。
• 局所表現からの光線を局所的およびグローバルキーフレームを用いてグローバル座標系にワープすることで、局所からグローバルへのバンドル調整を実行する。
• 特徴類似性、SDF整合性、滑らかさ、深度監督を含むマルチロス目的関数を用いて、エンドツーエンドのポーズ推定と従来のSLAM最適化を統合する。

実験結果

リサーチクエスチョン

• RQ1 単一のグローバルな放射場と比較して、プログレッシブで局所に適応するニューラルシーン表現は、大規模な屋内シーンにおけるスケーラビリティと頑健性を向上させることができるか？
• RQ2 三平面とMLPを組み合わせることで、標準的なNeRFや特徴グリッド手法と比較して、再構築精度と滑らかさを向上させるとともに、メモリ成長を低減できるか？
• RQ3 従来の局所BAと比較して、局所からグローバルへのバンドル調整戦略は、長時間シーケンスにおける累積的ポーズドリフトをどの程度低減できるか？
• RQ4 エンドツーエンドのポーズネットワークをグローバル最適化と統合することで、大規模環境におけるトラッキング精度と頑健性が向上するか？
• RQ5 提案手法は、多様な屋内データセットにおいて、リアルタイム性能を維持しながら、再構築と局所化の両面で最先端の結果を達成できるか？

主な発見

• レプリカデータセット（小規模な屋内シーン）では、PLGSLAMは再構築の忠実度とポーズ推定の精度の両面でESLAMおよびCo-SLAMを上回り、アーティファクトのない高精細な再構築を達成している。
• スキャンネットデータセット（大規模な屋内シーン、約7.5m × 6.6m）では、PLGSLAMはNICE-SLAM、ESLAM、Co-SLAMと比較して、最小の絶対軌道誤差（ATE）を達成し、優れたトラッキングの頑健性を示している。
• アパートメントデータセット（大規模、約14.5m × 7.5m）では、PLGSLAMは最先端のカメラトラッキング性能を達成しており、Co-SLAMおよびESLAMと比較して顕著に低い累積誤差を示している。
• アブレーションスタディの結果、三平面とMLPの統合表現は、個々の構成要素よりも再構築精度を向上させており、特に細部の捉え込みと穴埋めの能力で顕著な効果を示している。
• 局所からグローバルへのバンドル調整を削除すると、累積誤差が顕著に増加し、トラッキング性能が劣化するため、長時間シーケンスにおける安定性を確保する上でその重要性が裏付けられた。
• プログレッシブなシーン表現手法により、グローバルな誤推定のリスクが低減され、誤差伝搬が制限され、動的環境におけるシステムの頑健性が向上した。