[論文レビュー] Fast and Accurate Semantic Mapping through Geometric-based Incremental Segmentation

Yoshikatsu Nakajima, Keisuke Tateno+2 more|arXiv (Cornell University)|Mar 7, 2018

Robotics and Sensor-Based Localization参考文献 26被引用数 5

ひとこと要約

本論文は、個々のサーフェルではなく幾何的セグメントにクラス確率を割り当てることで、計算およびメモリのオーバーヘッドを顕著に削減する、リアルタイムでスケーラブルなセマンティックマッピングシステムを提案する。低解像度のCNNと幾何的セグメンテーション、確率的融合を統合することで、標準的なハードウェア上でも30.9 Hzのフレームレートを達成し、後処理を伴わずにNYUv2で最先端の精度を達成した。

ABSTRACT

We propose an efficient and scalable method for incrementally building a dense, semantically annotated 3D map in real-time. The proposed method assigns class probabilities to each region, not each element (e.g., surfel and voxel), of the 3D map which is built up through a robust SLAM framework and incrementally segmented with a geometric-based segmentation method. Differently from all other approaches, our method has a capability of running at over 30Hz while performing all processing components, including SLAM, segmentation, 2D recognition, and updating class probabilities of each segmentation label at every incoming frame, thanks to the high efficiency that characterizes the computationally intensive stages of our framework. By utilizing a specifically designed CNN to improve the frame-wise segmentation result, we can also achieve high accuracy. We validate our method on the NYUv2 dataset by comparing with the state of the art in terms of accuracy and computational efficiency, and by means of an analysis in terms of time and space complexity.

研究の動機と目的

• ロボット工学およびARアプリケーションにおけるリアルタイムセマンティック3次元マッピングの高い計算コストを低減すること。
• シーンの複雑さに伴いスケーリングが著しく悪い、サーフェルレベルでのクラス確率の更新の非効率性を克服すること。
• 市販のハードウェア上でリアルタイム性能（30 Hz以上）を実現しつつ、高い精度を維持すること。
• 個々のサーフェルではなくセグメント単位でクラス確率を保存することで、メモリ使用量を削減すること。
• セマンティックラベリングにおいて、条件付きランダムフィールド（CRFs）のような後処理技術の必要性を排除すること。

提案手法

• サーフェルベースのSLAMフレームワーク（InfiniTAM v3）を用いて、きめの粗い3次元マップを段階的に構築し、きめの粗いカメラトラッキングと3次元再構築を実現する。
• 表面法線と深度の不連続性に基づいて、幾何的基準によるインクリメンタルセグメンテーションを適用し、意味のある領域にサーフェルをグループ化する。
• 個々のサーフェルではなくセグメントにクラス確率を割り当てることで、時間的・空間的複雑度を低減する。
• 1フレームあたり19.32msの推論時間で、リアルタイムにセグメンテーションのエッジを精緻化する、軽量で低解像度のCNN（入力サイズ40×30）を用いる。
• 可視セグメントのみを1フレームごとに更新する確率的戦略により、クラス確率を統合し、余分な計算を最小限に抑える。
• 現在のカメラポーズからのレンダリングビューを用いて2次元から3次元へのラベル転送を実行し、3次元マップ全体にわたる一貫性のあるセマンティックラベリングを保証する。

実験結果

リサーチクエスチョン

• RQ1 標準的なハードウェア上でリアルタイムに実装可能なほど、正確かつ効率的なセマンティックマッピングが可能だろうか？
• RQ2 サーフェルレベルではなくセグメントレベルでクラス確率を割り当てることで、時間的・空間的複雑度が顕著に低減するだろうか？
• RQ3 幾何的セグメンテーションと併用された低解像度のCNNが、高いセマンティックセグメンテーション精度を達成できるだろうか？
• RQ4 本手法は、後処理を伴わない状態で、最先端の手法と比較してフレームレート、メモリ使用量、精度の面で優れているだろうか？
• RQ5 セマンティック情報を統合することで、幾何的セグメンテーションの品質はどの程度向上するだろうか？

主な発見

• GeForce GTX 1080上で本手法は30.9 Hzのフレームレートを達成し、SemanticFusion（25.3 Hz） や Hermansら（4 Hz） よりも高く、かつ全フレームを処理している。
• クラス確率の更新に要する平均時間は1.37 msであり、SemanticFusionの41.1 msと比較して顕著な時間複雑度の低減が示された。
• クラス確率のメモリ使用量は、サーフェル単位で保存するSemanticFusionと比較してわずか0.08%にまで削減された。これは、Nₗ = 1032のセグメント単位で確率を保存するため、Nₛ = 844,260のサーフェル単位での保存とは対照的である。
• NYUv2データセットにおいて、本手法は最先端の手法と同等のセマンティック精度を達成しており、完全精度バージョンと比較してmIoUがたった0.8%低下にとどまった。
• セマンティックに注意を払ったエッジの統合により、幾何的セグメンテーションが向上し、ノイズが低減され、セマンティック境界がよりよく捉えられるようになった。これは定性的な比較で示された。
• CRFsのような後処理の必要性が排除され、パイプラインが単純化され、計算オーバーヘッドが低減された。