[論文レビュー] Semi-Dense 3D Semantic Mapping from Monocular SLAM

Xuanpeng Li, Rachid Belaroussi|arXiv (Cornell University)|Nov 13, 2016

Robotics and Sensor-Based Localization参考文献 7被引用数 47

ひとこと要約

本稿では、単眼SLAMとディープラーニングを用いた、半密度な3次元意味的マッピングシステムを提案する。2Dの意味的ラベルはキーフレームから取得され、それらが幾何的整合性を持つ3次元マップに転送され、CRFに基づく正則化によって精錬される。本手法は、インDoorおよびアウトドアのデータセットでリアルタイム性能（約10Hz）を達成し、密度のあるフレームごとのラベリングや深度センサを必要とせずに、2D意味的セグメンテーションの精度を向上させる。

ABSTRACT

The bundle of geometry and appearance in computer vision has proven to be a promising solution for robots across a wide variety of applications. Stereo cameras and RGB-D sensors are widely used to realise fast 3D reconstruction and trajectory tracking in a dense way. However, they lack flexibility of seamless switch between different scaled environments, i.e., indoor and outdoor scenes. In addition, semantic information are still hard to acquire in a 3D mapping. We address this challenge by combining the state-of-art deep learning method and semi-dense Simultaneous Localisation and Mapping (SLAM) based on video stream from a monocular camera. In our approach, 2D semantic information are transferred to 3D mapping via correspondence between connective Keyframes with spatial consistency. There is no need to obtain a semantic segmentation for each frame in a sequence, so that it could achieve a reasonable computation time. We evaluate our method on indoor/outdoor datasets and lead to an improvement in the 2D semantic labelling over baseline single frame predictions.

研究の動機と目的

• 単眼カメラのみを用いて、屋内および屋外環境においても堅牢な3次元意味的マッピングを実現すること。
• 全フレームではなくキーフレームに限定して2D意味的セグメンテーションを実行することで、計算コストを低減すること。
• 再構築されたマップからの3次元幾何的整合性と空間的コンテキストを活用して、2D意味的セグメンテーションの精度を向上させること。
• 再キャリブレーションやセンサの切り替えを必要とせずに、屋内と屋外のシーン間をスムーズに切り替えられること。
• オンラインでリアルタイムな3次元シーン理解を実現するため、ディープラーニングベースの意味的セグメンテーションと半密度な単眼SLAMを統合すること。

提案手法

• 本システムは、キーフレームをトラッキングの参照として使用することで、単眼ビデオストリームからのリアルタイムで半密度な3次元再構築をLSD-SLAMにより実現する。
• 2D意味的セグメンテーションは、計算負荷を軽減するため、全フレームではなくキーフレームでのみ実行される。この際、DeepLabベースのCNNが使用される。
• 2Dキーフレームからの意味的ラベルは、SLAMシステムが提供する幾何的対応関係と深度推定値を用いて3次元空間に投影される。
• 最終的な3次元マップに対して、密度のある条件付きランダムフィールド（CRF）を適用し、ラベルの正則化を図ることで、外れ値の低減と空間的一致性の強化がなされる。
• 本手法は、SLAM出力から得られる幾何的構造を活用することで、特に深度が曖昧な領域における意味的ラベリングの精度を向上させる。
• 本システムは、深度センサを用いないRGBの生データを用いて、NYUv2（屋内）およびKITTI（屋外）データセットで評価されている。

実験結果

リサーチクエスチョン

• RQ1 単眼SLAMを用いて、キーフレームからの2D意味的セグメンテーションを効果的に3次元半密度マップに転送できるか？
• RQ2 3次元再構築から得られる幾何的整合性は、2D意味的ラベリング精度をどのように向上させるか？
• RQ3 単眼SLAMシステムは、屋内および屋外環境をまたがるシームレスな3次元意味的マッピングを可能にするか？
• RQ4 CRFに基づく正則化は、3次元意味的マップの品質およびラベリングの一貫性にどのような影響を与えるか？
• RQ5 キーフレームベースの2D推論は、高い意味的精度を維持しつつ、計算コストをどの程度低減できるか？

主な発見

• 提案手法は、NYUv2テストセットで平均クラス精度68.5%を達成し、HermansらやRGBD-SFといったベースライン手法を上回った。
• CRF正則化を施した後、NYUv2における平均クラス精度は70.3%に向上し、幾何的正則化の有効性が示された。
• KITTI屋外データセットでは、56個のキーフレームを用いて約160万点の3次元マップを再構築し、リアルタイム性能（約10Hz）を維持した。
• 単一フレームの予測と比較して、特に深度が曖昧でテクスチャが乏しい領域で、2D意味的セグメンテーションの精度が向上した。
• フレームごとの意味的セグメンテーションを回避することで、計算コストを削減し、CPU+GPUハードウェア上でのリアルタイム動作を実現した。
• CRF正則化は、ラベルの外れ値を顕著に低減させ、特に初期精度が低かった「ベッド」や「本」などのオブジェクトにおいて、空間的一致性が向上した。