[論文レビュー] SemanticFusion: Dense 3D Semantic Mapping with Convolutional Neural Networks

John McCormac, Ankur Handa+2 more|arXiv (Cornell University)|Sep 16, 2016

Robotics and Sensor-Based Localization参考文献 20被引用数 44

ひとこと要約

SemanticFusionは、CNNとElasticFusion SLAMシステムを用いて、RGB-D動画からの2次元セマンティック予測を融合し、リアルタイムで一貫性のある3次元セマンティックマップを生成するオンラインシステムを提案する。ループクロージャを備えたサーフェルベースのSLAMから得られるマルチビュー対応関係を活用することで、視点の変化に対しても2次元セマンティックセグメンテーションの精度が向上し、約25 Hzのフレームレートを達成し、NYUv2および独自のオフィスデータセットにおいて顕著な性能向上を実現した。

ABSTRACT

Ever more robust, accurate and detailed mapping using visual sensing has proven to be an enabling factor for mobile robots across a wide variety of applications. For the next level of robot intelligence and intuitive user interaction, maps need extend beyond geometry and appearence - they need to contain semantics. We address this challenge by combining Convolutional Neural Networks (CNNs) and a state of the art dense Simultaneous Localisation and Mapping (SLAM) system, ElasticFusion, which provides long-term dense correspondence between frames of indoor RGB-D video even during loopy scanning trajectories. These correspondences allow the CNN's semantic predictions from multiple view points to be probabilistically fused into a map. This not only produces a useful semantic 3D map, but we also show on the NYUv2 dataset that fusing multiple predictions leads to an improvement even in the 2D semantic labelling over baseline single frame predictions. We also show that for a smaller reconstruction dataset with larger variation in prediction viewpoint, the improvement over single frame segmentation increases. Our system is efficient enough to allow real-time interactive use at frame-rates of approximately 25Hz.

研究の動機と目的

• モバイルロボット向けに、豊富なセマンティックアノテーションを備えたリアルタイムで高密度な3次元セマンティックマッピングを可能にすること。
• 幾何的対応関係を用いて複数の視点からの予測を統合することで、2次元セマンティックセグメンテーションの精度を向上させること。
• ループクロージャを備えたサーフェルベースのSLAMシステムElasticFusionを活用し、セマンティック統合における長期的整合性を維持すること。
• SLAMが3次元セマンティックマッピングを可能にするだけでなく、マルチビュー正則化によって2次元セグメンテーション性能を向上させることを示すこと。
• 屋内環境におけるより正確でインタラクティブなセマンティックマップの作成を目指し、SLAMとディープラーニングの相乗効果を調査すること。

提案手法

• 事前学習済みのRGB-D CNNを用いて2次元セマンティックセグメンテーションを実行し、ElasticFusion SLAMシステムと統合することで、高密度な2次元から3次元への対応関係を確立する。
• ElasticFusionにおけるサーフェルベースの表面表現を用いて、ループクロージャや視点変化に対しても持続的な幾何的およびセマンティック関連付けを維持する。
• ベイズ統合手法を用いて、複数のフレームからのセマンティック予測を確率的に統合し、一貫性のあるグローバルな3次元セマンティックマップを生成する。
• 最終出力の空間的整合性を向上させるために、完全結合型CRFを後処理に用いる。
• CNN推論を10フレームごと、CRF推論を500フレームごとに実行することで、リアルタイム性能と精度のバランスを図る。
• SLAMシステムが提供する幾何的整合性を活用してセマンティック予測を正則化し、視点の変化に対する耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 SLAMから得られる対応関係を用いて、マルチビューのセマンティック予測を一貫性のある3次元セマンティックマップに効果的に統合できるか？
• RQ2 複数の視点からのセマンティック予測を統合することで、単一フレームベースラインと比較して2次元セマンティックセグメンテーションの精度が向上するか？
• RQ3 視点の変化が、セマンティックセグメンテーションにおけるマルチビュー統合の効果にどのように影響するか？
• RQ4 リアルタイムでインタラクティブなシステムが、CNNとSLAMを用いて、正確な3次元再構築とセマンティックラベリングを両立できるか？
• RQ5 視点の多様性が限られたデータセットと、広範な走査が可能なデータセットにおいて、SLAM強化セマンティック統合が性能に与える影響はどの程度か？

主な発見

• SemanticFusionは、約25 Hzのリアルタイムフレームレートを達成し、インタラクティブでオンラインの3次元セマンティックマッピングを可能にした。
• NYUv2データセットでは、視点の変化が限定的でも、マルチビュー統合により単一フレーム予測よりも2次元セマンティックセグメンテーションの精度が向上した。
• 視点の変化が顕著な独自のオフィスデータセットでは、統合による性能向上が顕著に大きくなり、多様な視点の利点が明確に示された。
• SLAMの活用により、大規模なループクロージャ後でもセマンティックラベリングの長期的整合性が維持された。これは、持続的なサーフェル関連付けのおかげである。
• ベイズ統合メカニズムにより、複数視点からの予測が効果的に統合され、ノイズ低減とラベル信頼度の向上が達成された。
• CRFの後処理により空間的整合性がさらに向上したが、計算コストが高く、現時点ではオフラインまたは希な頻度でのリアルタイム実行にとどまっている。