[論文レビュー] SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation

Weiyue Wang, Ronald Yu+2 more|arXiv (Cornell University)|Nov 23, 2017

3D Shape Modeling and Analysis参考文献 54被引用数 7

ひとこと要約

SGPNは、ペアワイズ点関係を表現する類似度行列を用いた、3D点群インスタンスセグメンテーションのための新しい深層学習フレームワークを提案する。このフレームワークにより、エンドツーエンドの予測が可能となり、グループプロポーザル、信頼度スコア、意味的ラベルが一括して得られる。ShapeNet、S3DIS、ScanNetの各データセットで最先端の性能を達成し、IoU=0.25の条件下でScanNetでは35.1%のAPを達成。2D CNN特徴の統合により、3D検出および意味的セグメンテーションの性能も顕著に向上する。

ABSTRACT

We introduce Similarity Group Proposal Network (SGPN), a simple and intuitive deep learning framework for 3D object instance segmentation on point clouds. SGPN uses a single network to predict point grouping proposals and a corresponding semantic class for each proposal, from which we can directly extract instance segmentation results. Important to the effectiveness of SGPN is its novel representation of 3D instance segmentation results in the form of a similarity matrix that indicates the similarity between each pair of points in embedded feature space, thus producing an accurate grouping proposal for each point. To the best of our knowledge, SGPN is the first framework to learn 3D instance-aware semantic segmentation on point clouds. Experimental results on various 3D scenes show the effectiveness of our method on 3D instance segmentation, and we also evaluate the capability of SGPN to improve 3D object detection and semantic segmentation results. We also demonstrate its flexibility by seamlessly incorporating 2D CNN features into the framework to boost performance.

研究の動機と目的

• 2Dインスタンスセグメンテーション手法の直感的な設計に類似した、シンプルで柔軟かつ効果的な3Dインスタンスセグメンテーションのための深層学習フレームワークの開発。
• 3Dインスタンスセグメンテーションにおけるエンドツーエンドで学習可能なフレームワークの不足を補うために、特徴空間における点同士の関係を捉える新しい類似度行列表現を導入すること。
• 後処理を一切行わず、1つのネットワークから直接インスタンスグループ化、意味的ラベル、信頼度スコアを予測可能にする。
• 最小限のアーキテクチャ変更で、同じフレームワークを用いて3Dオブジェクト検出および意味的セグメンテーションの性能を向上させること。
• RGBD画像からの2D CNN特徴をシームレスに統合することで、フレームワークの柔軟性を実証すること。

提案手法

• 原始的な3D点群から、PointNet/PointNet++を用いて各点の特徴埋め込みを抽出する。
• すべてのペアワイズ特徴ベクトル間のコサイン距離またはL2距離を計算することで類似度行列を構築し、高い類似度は同じインスタンスに属することを示す。
• 類似度行列の各行は、候補となるインスタンスプロポーザルを表し、低品質なプロポーザルをフィルタリングするための学習済み信頼度マップにより信頼度スコアが予測される。
• 別途用意されたブランチにより、各点ごとに意味的セグメンテーションラベルを予測し、各グループプロポーザルにクラスラベルを割り当てる。
• 最小限の後処理で、グループプロポーザルから直接タイトな3Dバウンディングボックスを導出する。
• 点特徴に2D CNN特徴を連結することで、アーキテクチャの大幅な変更なしに、RGBD画像からの2D特徴を統合可能である。

実験結果

リサーチクエスチョン

• RQ1 類似度学習に基づく統一された深層学習フレームワークは、点群における3Dインスタンスセグメンテーションで最先端の性能を達成できるか？
• RQ2 類似度行列表現は、点をオブジェクトインスタンスにグループ化するための点間関係をモデル化するのにどの程度有効か？
• RQ3 SGPNは、共有特徴学習を通じて、3Dオブジェクト検出および意味的セグメンテーションの性能をどの程度向上できるか？
• RQ4 RGBDデータからの2D CNN特徴の統合は、SGPNにおける3Dインスタンスセグメンテーションの性能をどの程度向上させるか？
• RQ5 SGPNは、実世界の屋内シーンや合成形状を含む多様な3Dデータセットに一般化可能か？

主な発見

• ScanNetデータセットにおいて、IoU閾値0.25の条件下で、平均平均精度（mAP）が35.1%に達し、ベースラインのSeg-Cluster手法を上回った。
• S3DISデータセットでは、インスタンスセグメンテーションで35.1%のmAPを達成し、さまざまな屋内シーンタイプにわたる強力な一般化性能を示した。
• グループプロポーザルから最小限の後処理でタイトな3Dバウンディングボックスを直接生成できるため、3Dオブジェクト検出性能が向上した。
• インスタンスグループ化とクラス予測の共同学習により、意味的セグメンテーションの精度が向上し、評価されたすべてのデータセットで一貫した改善が得られた。
• RGBD画像からの2D CNN特徴を統合することで、性能向上が明確に確認され、フレームワークの柔軟性と拡張性が裏付けられた。
• ブロックマージングアルゴリズムにより、重複するブロックからの全シーンインスタンスラベルが効果的に再構築され、高い一貫性が維持され、ラベル断片化が低減された。