[論文レビュー] DDN-SLAM: Real-time Dense Dynamic Neural Implicit SLAM

Mingrui Li, Jiaming He+4 more|arXiv (Cornell University)|Jan 3, 2024

Advanced Vision and Imaging被引用数 9

ひとこと要約

DDN-SLAM は動的シーンのために設計されたリアルタイム密集型ニューラル・インプリシット・セマンティック SLAM システムで、ジョイントセマンティック符号化と光流ベースのマスキングを用いて、モノカラ、ステレオ、RGB-D 入力において 20–30 Hz の安定した追跡と高品質マッピングを実現します。

ABSTRACT

SLAM systems based on NeRF have demonstrated superior performance in rendering quality and scene reconstruction for static environments compared to traditional dense SLAM. However, they encounter tracking drift and mapping errors in real-world scenarios with dynamic interferences. To address these issues, we introduce DDN-SLAM, the first real-time dense dynamic neural implicit SLAM system integrating semantic features. To address dynamic tracking interferences, we propose a feature point segmentation method that combines semantic features with a mixed Gaussian distribution model. To avoid incorrect background removal, we propose a mapping strategy based on sparse point cloud sampling and background restoration. We propose a dynamic semantic loss to eliminate dynamic occlusions. Experimental results demonstrate that DDN-SLAM is capable of robustly tracking and producing high-quality reconstructions in dynamic environments, while appropriately preserving potential dynamic objects. Compared to existing neural implicit SLAM systems, the tracking results on dynamic datasets indicate an average 90% improvement in Average Trajectory Error (ATE) accuracy.

研究の動機と目的

• ニューラル・インプリシット SLAM における動的オブジェクトの干渉を解消し、堅牢でリアルタイムな dense マッピングを実現する。
• セマンティック priors と光フローベースの検証を活用して静的点と動的点を分割する。
• 深度ガイド付き静的マスキングとスキップボクセルの背景充填を開発し、効率と品質を向上させる。
• 単眼、ステレオ、RGB-D 入力をサポートし、ループクロージャとグローバルバンドル Adjustment を実施。
• 複数の動的/静的データセットで最先端の追跡と再構成を示す。

提案手法

• 深度と光流異常を用いて静的点と動的点を分離する、結合セマンティック座標・ハッシュ符号化。
• YOLOv5 の priors と t 分布に基づくアウトライヤーテストを用いた深度ガイド付き静的マスキングで動的点を識別。
• 動的境界ボックス内の静的点フィルタリングを補強する Sparse Optical-Flow 検証。
• 多解像度ハッシュ符号化（NeRF風）と背景のスキップボクセル充填による効率的マッピングを用いた体積レンダリング。
• 動的シーンのドリフトを減らすためのキーフレームベースのループ検出とグローバルバンドル Adjustment。
• Tracking は光流情報を活用した制約と不確実性を考慮した深度監視を用い、BA はカメラポーズと地図点を共同最適化。

実験結果

リサーチクエスチョン

• RQ1 動的環境において、セマンティック priors と流れの一貫性はリアルタイム dense SLAM の静的/動的分割を堅牢に可能にするか。
• RQ2 結合セマンティック符号化と多解像度ハッシュ表現は、モノカラ、ステレオ、RGB-D 入力全体で再構成品質と追跡安定性を向上させるか。
• RQ3 DDN-SLAM は動的シーンでのループクロージャとグローバルバンドル Adjustment を、従来のニューラル・インプリシット SLAM 手法と比較してどう機能するか。
• RQ4 標準データセット（例: TUM RGB-D, Bonn, OpenLORIS-Scene, Replica, ScanNet, EuRoC）での DDNS-SLAM の実行時間とメモリトレードオフはどの程度か。

主な発見

手法	完了率	歩行/xyz	歩行/半分	歩行/静的	歩行/RPY	座位/xyz	座位/半分	平均
LC-CRF SLAM	100%	0.027	0.024	0.079	0.186	0.027	0.098	0.066
Crowd-SLAM	100%	0.037	0.014	0.026	0.029	0.019	0.035	0.038
ORB-SLAM2	93%	0.065	0.230	0.320	0.039	0.496	0.989	0.373
NICE-SLAM	79%	2.442	2.018	0.177	0.832	1.934	3.582	1.470
ESLAM	61%	0.203	0.235	0.190	0.129	0.416	1.142	1.325
Co-SLAM	44%	0.211	0.480	0.076	0.200	0. -	0. -	7.052
DDN-SLAM(RGB)	100%	0.018	0.041	0.020	0.032	0.018	0.023	0.029
DDN-SLAM	100%	0.014	0.023	0.010	0.039	0.010	0.017	0.020

• DDN-SLAM はモノカラ、ステレオ、RGB-D の入力で 20–30 Hz のリアルタイム追跡と密集マッピングを達成。
• 動的マスクと光流検証により動的干渉を効果的に排除し、難易度の高い動的シーンで競争力のある追跡と再構成を実現。
• TUM RGB-D の動的シーケンスでは、平均約 0.020 m 程度の ATE RMSE を含む競争力のある値を示す。
• Bonn の動的シーケンスで 100% の追跡完了を達成し、RMSE（平均約 0.067 m）で低い値を示す。
• OpenLORIS-Scene 設定では、DDN-SLAM は強い追跡完了率（多くは 100%）と競争力の RMSE/PSNR 指標を示し、動的条件下でいくつかのニューラル・インプリシット ベースラインを上回る。
• 静的シーンでは、マッピング効率の点で伝統的およびニューラル・インプリシット ベースラインと競争力を保ち、軽量なプラットフォームに適したマッピング時間とメモリフットプリントが報告されている。