[論文レビュー] CNN-SLAM: Real-time dense monocular SLAM with learned depth prediction

Keisuke Tateno, Federico Tombari+2 more|arXiv (Cornell University)|Apr 11, 2017

Robotics and Sensor-Based Localization参考文献 23被引用数 70

ひとこと要約

CNN-SLAM は CNN が予測した密な深度マップを直接モノクラSLAMと組み合わせ、単一視点からリアルタイム、スケール認識付きの密なモノクラ reconstruction と意味融合を実現する。

ABSTRACT

Given the recent advances in depth prediction from Convolutional Neural Networks (CNNs), this paper investigates how predicted depth maps from a deep neural network can be deployed for accurate and dense monocular reconstruction. We propose a method where CNN-predicted dense depth maps are naturally fused together with depth measurements obtained from direct monocular SLAM. Our fusion scheme privileges depth prediction in image locations where monocular SLAM approaches tend to fail, e.g. along low-textured regions, and vice-versa. We demonstrate the use of depth prediction for estimating the absolute scale of the reconstruction, hence overcoming one of the major limitations of monocular SLAM. Finally, we propose a framework to efficiently fuse semantic labels, obtained from a single frame, with dense SLAM, yielding semantically coherent scene reconstruction from a single view. Evaluation results on two benchmark datasets show the robustness and accuracy of our approach.

研究の動機と目的

• モノクラSLAMにおけるスケール不確実性と疎性を解消するため、CNN予測深度マップの活用を動機づける。
• CNN深度と直接的なモノクラSLAMを組み合わせる密な再構成のための融合フレームワークを提案する。
• 低テクスチャ、回転などの困難な条件下でのスケール補正されたカメラ姿勢推定と頑健な追跡を可能にする。
• 密なモノクラ SLAM に意味ラベルを結合して意味的に一貫した 3D シーンを再構成するため、フレームワークを拡張する。

提案手法

• 深度回帰の訓練を受けた CNN（ResNet-50 バックボーンとアップサンプリングを用いる）でキーフレームの密な深度マップを予測する。
• 焦点距離スケーリング因子を用いてカメラ内在差分に対する CNN 深度を補正する。
• CNNの信頼度とフレーム間整合性から深度不確実性マップを計算する。
• 現在のフレームと近傍のキーフレームを用いた小ベースラインステレオマッチングでCNN深度を精錬する。
• キーフレーム間で深度と不確実性マップを融合し、ポーズグラフ最適化を用いて密な3Dモデルを構築する。
• 任意でセマンティックセグメンテーションネットワークを訓練し、フレームごとのセマンティックラベルを Global Segmentation Model 経由で3Dモデルへ融合する。

実験結果

リサーチクエスチョン

• RQ1 Can CNN-predicted depth enable accurate absolute-scale monocular SLAM without external priors?
• RQ2 Does fusing CNN depth with direct monocular SLAM improve pose accuracy and depth density, especially in low-texture regions?
• RQ3 Can the framework robustly handle pure rotational motion where traditional stereo depth estimation fails?
• RQ4 How effectively can semantic labels be fused into a monocular dense SLAM reconstruction from a single view?

主な発見

Dataset/Sequence	Abs. Trajectory Error (Our)	Abs. Trajectory Error (LSD-BS)	Abs. Trajectory Error (LSD)	Abs. Trajectory Error (ORB)	Abs. Trajectory Error (Laina)	Perc. Correct Depth (Our)	Perc. Correct Depth (LSD-BS)	Perc. Correct Depth (LSD)	Perc. Correct Depth (ORB)	Perc. Correct Depth (Laina)	Perc. Correct Depth (Remode)
ICL/office0	0.266	0.587	0.528	0.430	0.337	19.410	0.603	0.335	0.018	17.194	4.479
ICL/office1	0.157	0.790	0.768	0.780	0.218	29.150	4.759	0.038	0.023	20.838	3.132
ICL/office2	0.213	0.172	0.794	0.860	0.509	37.226	1.435	0.078	0.040	30.639	16.7081
ICL/living0	0.196	0.894	0.516	0.493	0.230	12.840	1.443	0.360	0.027	15.008	4.479
ICL/living1	0.059	0.540	0.480	0.129	0.060	13.038	3.030	0.057	0.021	11.449	2.427
ICL/living2	0.323	0.211	0.667	0.663	0.380	26.560	1.807	0.167	0.014	33.010	8.681
TUM/seq1	0.542	1.717	1.826	1.206	0.809	12.477	3.797	0.086	0.031	12.982	9.548
TUM/seq2	0.243	0.106	0.436	0.495	1.337	24.077	3.966	0.882	0.059	15.412	12.651
TUM/seq3	0.214	0.037	0.937	0.733	0.724	27.396	6.449	0.035	0.027	9.450	6.739
Avg.	0.246	0.562	0.772	0.643	0.512	22.464	3.032	0.226	0.029	18.452	7.649

• The approach yields higher pose trajectory accuracy than several monocular SLAM baselines across multiple sequences.
• Dense depth maps refined from CNN predictions achieve higher density and accuracy than purely CNN-based or traditional SLAM methods.
• Depth refinement via small-baseline stereo improves depth edges and reduces blur in CNN predictions, improving reconstruction quality.
• The method maintains robust performance under pure rotational motion, where baseline-based depth estimation is problematic.
• Semantic labels can be fused into the 3D reconstruction to produce semantically coherent scene models.