[論文レビュー] Spatial Semantic Embedding Network: Fast 3D Instance Segmentation with Deep Metric Learning

Dongsu Zhang, Junha Chun+2 more|arXiv (Cornell University)|Jul 7, 2020

3D Shape Modeling and Analysis参考文献 38被引用数 13

ひとこと要約

本論文では、深層度量学習を用いて埋め込み空間内でのクラスタリングとしてインスタンスセグメンテーションを定式化する、高速で効率的な3Dインスタンスセグメンテーション手法であるSpatial Semantic Embedding Network (SSEN) を提案する。同じインスタンスに属する点が密にクラスタリングされ、異なるインスタンスが分離されるようにネットワークを学習させることで、SSENはScanNetにおいて最先端のAP性能を達成しており、従来手法の2倍以上高速である。また、複雑な後処理や3次元空間演算を必要としない。

ABSTRACT

We propose spatial semantic embedding network (SSEN), a simple, yet efficient algorithm for 3D instance segmentation using deep metric learning. The raw 3D reconstruction of an indoor environment suffers from occlusions, noise, and is produced without any meaningful distinction between individual entities. For high-level intelligent tasks from a large scale scene, 3D instance segmentation recognizes individual instances of objects. We approach the instance segmentation by simply learning the correct embedding space that maps individual instances of objects into distinct clusters that reflect both spatial and semantic information. Unlike previous approaches that require complex pre-processing or post-processing, our implementation is compact and fast with competitive performance, maintaining scalability on large scenes with high resolution voxels. We demonstrate the state-of-the-art performance of our algorithm in the ScanNet 3D instance segmentation benchmark on AP score.

研究の動機と目的

• 複雑な前処理または後処理ステップを回避するスケーラブルで効率的な3Dインスタンスセグメンテーション手法の開発。
• 正確なインスタンス分離を可能にする、意味的および空間的情報を統合した埋め込み空間の学習。
• 高い推論速度を維持しながら、3Dインスタンスセグメンテーションで最先端のパフォーマンスを達成すること。
• 大規模な3次元シーンにおけるオクルージョン、物理的接触、ノイズに対しての頑健性の実証。

提案手法

• 本手法は、同じオブジェクトインスタンスに属するボクセルが近接してマップされるように学習された空間的・意味的埋め込み空間を用いる。
• ネットワークは、埋め込み空間内でのインスタンス内距離を最小化し、インスタンス間距離を最大化するように深層度量学習により訓練される。
• インスタンスセグメンテーションは、3次元ユークリッド空間の後処理を一切行わずに、埋め込み特徴に直接階層的密度ベースクラスタリング（HDBSCAN）を適用することで実現される。
• 埋め込み空間は意味的文脈と空間的構造の両方を保持するように設計されており、オブジェクト同士の接触やオクルージョンがあっても頑健なクラスタリングを可能にする。
• フレームワークはエンドツーエンドで訓練可能であり、ボクセル化された3次元シーンを対象とし、効率的なGPUおよびCPUパイプライン設計により推論が高速化される。
• 反復的リファインメント、非最大抑制、または適応的しきい値処理を回避することで、計算オーバーヘッドが低減される。

実験結果

リサーチクエスチョン

• RQ1 複雑な後処理を伴わずに、単純な度量学習アプローチが最先端の3Dインスタンスセグメンテーション性能を達成できるか？
• RQ2 学習された埋め込み空間は、複雑な3次元シーンにおいて意味的および空間的構造をどれほど効果的に保持できるか？
• RQ3 深層度量学習は、大規模で高解像度の3次元シーンにおいて、高速かつスケーラブルなインスタンスセグメンテーションを可能にするか？
• RQ4 オブジェクトの接触、オクルージョン、ノイズといった困難な条件下で、本手法の性能はいかがなものか？

主な発見

• SSENはScanNet 3Dインスタンスセグメンテーションベンチマークで最先端のAPスコアを達成し、精度と速度の両面で既存手法を上回っている。
• BoNet（これまでに報告された中で最も高速な手法）と比較して、2倍以上高速であり、ScanNetバリデーションセットの推論時間はわずか5分で済む。
• オブジェクトをシーン内で移動させた際の一貫したクラスタリングパターンから、埋め込み空間が空間構造を効果的に捉えていることが実証された。
• オブジェクトが密接に接近している場合や接触している場合でも、BoNet や GSPN が失敗する状況においても、本手法は高い性能を維持し、正しくインスタンスを分離している。
• HDBSCANをMean Shiftに置き換えると、性能が著しく低下し、実行時間が1日まで延びるため、HDBSCANの効率性と有効性が確認された。
• 可視化結果から、埋め込み空間のクラスタ中心から離れた点は、物理的に分離されているか、曖昧な領域に対応しており、トポロジー上の挑戦に対しても頑健であることが示された。