[論文レビュー] Real-time Progressive 3D Semantic Segmentation for Indoor Scene

Quang-Hieu Pham, Binh‐Son Hua+2 more|arXiv (Cornell University)|Apr 1, 2018

Advanced Vision and Imaging参考文献 59被引用数 9

ひとこと要約

本稿では、構造的およびオブジェクトレベルのヒントを組み込んだ高次元の条件付きランダムフィールド（CRF）と深層畳み込みニューラルネットワークを組み合わせた、インDoorシーンのリアルタイムでプログレッシブな3次元セマンティックセグメンテーションシステムを提案する。本手法は、効率的なスーパーボクセルクラスタリングとCRF最適化を用いて、リアルタイムな3次元再構築中に高密度なセマンティックラベリングを可能にし、SceneNNおよびScanNetデータセットで最先端の性能を達成した。インferencing速度は10–15 Hzで、インスタンスセグメンテーションのmAPは48.4%を記録した。

ABSTRACT

The widespread adoption of autonomous systems such as drones and assistant robots has created a need for real-time high-quality semantic scene segmentation. In this paper, we propose an efficient yet robust technique for on-the-fly dense reconstruction and semantic segmentation of 3D indoor scenes. To guarantee (near) real-time performance, our method is built atop an efficient super-voxel clustering method and a conditional random field with higher-order constraints from structural and object cues, enabling progressive dense semantic segmentation without any precomputation. We extensively evaluate our method on different indoor scenes including kitchens, offices, and bedrooms in the SceneNN and ScanNet datasets and show that our technique consistently produces state-of-the-art segmentation results in both qualitative and quantitative experiments.

研究の動機と目的

• 事前計算なしに、アクティブなインDoorシーンスキャン中にリアルタイムでプログレッシブな3次元セマンティックセグメンテーションを可能にすること。
• 構造的およびオブジェクトレベルのヒントをCRFフレームワークに統合することで、セグメンテーションの精度と時間的整合性を向上させること。
• スパarsなボリューム表現と最適化されたパイプラインを用いて、効率的でオンラインの推論を実現し、リアルタイム性能を達成すること。
• 本手法をインスタンスベースのセマンティックセグメンテーションに拡張し、SceneNNデータセットにおける最初のリアルタイム評価を提供すること。
• 大規模なインDoorシーンデータセット上で、包括的な評価を通じて本システムの頑健性とスケーラビリティを示すこと。

提案手法

• 初期のセマンティック予測のために2次元畳み込みニューラルネットワークをRGB-D画像に適用する。
• 2次元から3次元への予測の転送は、スパースボクセル表現を用いたマルチビュー再構築パイプラインにより実現する。
• 空間的一致性を確保するため、3次元点群を意味のあるスーパーボクセルにグループ化する効率的なスーパーボクセルクラスタリング手法を適用する。
• オブジェクトレベルおよび構造的ヒントを用いて、単一項、ペアワイズ、整合性項を含む高次元CRFモデルを採用して予測を精緻化する。
• オブジェクト境界やスーパーボクセル間のラベル整合性を強制するために、高次元制約を組み込んだ反復的最適化によりCRFを最適化する。
• パイプライン全体がリアルタイムで動作し、フレームあたりの平均実行時間が一定であるため、スキャンが進行するにつれて段階的に精度が向上する。

実験結果

リサーチクエスチョン

• RQ1 アクティブなスキャン中に段階的に品質が向上するリアルタイム3次元セマンティックセグメンテーションシステムを構築可能か？
• RQ2 オブジェクトおよび構造的ヒントから得られる高次元制約の統合は、セグメンテーションの精度と整合性向上にどの程度有効か？
• RQ3 本手法は、大規模なインDoorシーンデータセット上でリアルタイム推論（10–15 Hz）を維持しながら、最先端の性能を達成可能か？
• RQ4 オブジェクトレベルの整合性項を含むCRFは、3次元セマンティックセグメンテーションにおいて、標準的な密なCRFモデルをどの程度上回るか？
• RQ5 本システムは3次元インDoorシーンでインスタンスレベルのセマンティックセグメンテーションをリアルタイムでサポート可能か？また、既存手法と比較してどのように差がつくか？

主な発見

• 提案手法は、SceneNNデータセットにおけるインスタンスベースのセマンティックセグメンテーションで48.4%のmAPを達成し、リアルタイム性能の新しいベースラインを確立した。
• SceneNNデータセットにおいて、直接統合法（0.484 vs. 0.367 mAP）およびSemanticFusion（0.484 vs. 0.423 mAP）を上回るインスタンスセグメンテーション精度を達成した。
• システムは10–15 Hzで動作し、CNN推論に平均309.3 ms、スーパーボクセルクラスタリングに34.1 ms、CRF最適化に57.9 msを要した。
• アブレーションスタディの結果、整合性項が性能向上に最も寄与していることが確認され、3次元セグメンテーションにおけるオブジェクトレベルのヒントの重要性が裏付けられた。
• 時間的精度分析から、長時間にわたり一貫した改善が見られ、本手法はベースラインを上回る長期的なセグメンテーション安定性を示した。
• 完全な高次元CRFモデルが最良の性能を達成し、標準的な密なCRFや個々のコンponentのアブレーションを著しく上回った。