[論文レビュー] Point-SLAM: Dense Neural Point Cloud-based SLAM

Erik Sandström, Yue Li+2 more|arXiv (Cornell University)|Apr 9, 2023

Robotics and Sensor-Based Localization被引用数 18

ひとこと要約

Point-SLAM は、データ駆動の適応的なニューラルポイントクラウドに学習可能なポイント特徴を固定化する密なニューラルSLAMシステムを提示し、単眼RGBD入力からのリアルタイム追跡と地図作成を可能にするとともに、高情報領域での効率と細部を向上させる。

ABSTRACT

We propose a dense neural simultaneous localization and mapping (SLAM) approach for monocular RGBD input which anchors the features of a neural scene representation in a point cloud that is iteratively generated in an input-dependent data-driven manner. We demonstrate that both tracking and mapping can be performed with the same point-based neural scene representation by minimizing an RGBD-based re-rendering loss. In contrast to recent dense neural SLAM methods which anchor the scene features in a sparse grid, our point-based approach allows dynamically adapting the anchor point density to the information density of the input. This strategy reduces runtime and memory usage in regions with fewer details and dedicates higher point density to resolve fine details. Our approach performs either better or competitive to existing dense neural RGBD SLAM methods in tracking, mapping and rendering accuracy on the Replica, TUM-RGBD and ScanNet datasets. The source code is available at https://github.com/eriksandstroem/Point-SLAM.

研究の動機と目的

• 入力情報密度に適応するニューラルポイントベースのシーン表現を用いた密なSLAMを動機づける。
• マップとトラッカーの双方を担う、入力駆動の動的なポイントクラウドを開発する。
• ニューラルポイント特徴からの体積レンダリングによって深度と色をレンダリングし、再レンダリング損失を最適化する。
• 必要に応じて細部を改善しつつ、他の領域で計算を削減し、リアルタイム追跡と地図作成を実証する。

提案手法

• 点 p_i と幾何 f_i^g（ジオメトリ）および色 f_i^c をもつニューラルポイントクラウド P を導入する。
• シーンが探索されるにつれてポイントクラウドを反復的に成長させ、半径 r 内に近傍点が存在しない場合のみ点を追加する。
• 画像勾配の関数として探索半径 r を変化させることで点密度を動的に実装し、テクスチャのある領域に点を集約する。
• 光線に沿ってサンプリングし、幾何デコーダ h とカラー デコーダ g_ξ を用いてニューラル特徴 P^g と P^c で占有 o_i と色 c_i をデコードして深度と色をレンダリングする。
• 地図作成（深度と色）と追跡（姿勢）に対するRGBD再レンダリング損失を最小化して地図とカメラ軌道を最適化する。
• 学習済みの各画像潜在ベクトルと露出MLP G_φ による露出補正を用いてシーン照明の変化に対応する。

実験結果

リサーチクエスチョン

• RQ1 点ベースのニューラルシーン表現は、リアルタイムで密なRGBD SLAMシステムにおいて追跡と地図作成の双方をサポートできるか？
• RQ2 入力適応（データ駆動）なポイントアンカリングは、グリッドベースのニューラルSLAM手法と比べてレンダリング、地図作成、追跡の精度を改善するか？
• RQ3 動的点密度がメモリ、実行時間、再構成品質に与える影響は何か？
• RQ4 Replica、TUM-RGBD、ScanNet における Point-SLAM の NICE-SLAM、Vox-Fusion、ESLAM との比較はどうか？

主な発見

手法	Rm0	Rm1	Rm2	Off0	Off1	Off2	Off3	Off4	Avg.
NICE-SLAM	0.97	1.31	1.07	0.88	1.00	1.06	1.10	1.13	1.06
Vox-Fusion	0.40	0.54	0.54	0.50	0.46	0.75	0.50	0.60	0.54
Vox-Fusion ∗	1.37	4.70	1.47	8.48	2.04	2.58	1.11	2.94	3.09
ESLAM	0.71	0.70	0.52	0.57	0.55	0.58	0.72	0.63	0.63
Point-SLAM (ours)	0.61	0.41	0.37	0.38	0.48	0.54	0.69	0.72	0.52

• Point-SLAM は Replica、TUM-RGBD、ScanNet で追跡、レンダリング、地図作成において最先端または競争力のある性能を達成する。
• 適応的でデータ主導のポイントアンカーリングは、高周波の詳細領域（例：テクスチャ付き領域）でレンダリングの忠実度と再構成精度を向上させ、テクスチャレス領域ではメモリと計算量を削減する。
• 密なグリッドベースの手法と比較して、動的な点密度は追跡精度を犠牲にせず、メモリと精度のトレードオフを改善する。
• Replica では、Point-SLAM は報告された実行において NICE-SLAM、Vox-Fusion、ESLAM より平均的に追跡 RMSE（ATE RMSE）が低い。
• Table 1 は Point-SLAM が Replica におけるベースラインと比べて優れたまたは競争力のある追跡性能（AVE RMSE、Rm0–Off4の平均）を示している。