[論文レビュー] PointGroup: Dual-Set Point Grouping for 3D Instance Segmentation

Li Jiang, Hengshuang Zhao+4 more|arXiv (Cornell University)|Apr 3, 2020

3D Shape Modeling and Analysis参考文献 57被引用数 32

ひとこと要約

PointGroup は、セマンティックラベルと各点のオフセットを用いて、元の座標セットとオフセット移動後のデュアル座標セットを用いて点をグループ化し、ScoreNet により高品質なクラスタを選択するボトムアップの 3D インスタンス分割フレームワークを導入し、ScanNet v2 および S3DIS で最先端の結果を達成します。

ABSTRACT

Instance segmentation is an important task for scene understanding. Compared to the fully-developed 2D, 3D instance segmentation for point clouds have much room to improve. In this paper, we present PointGroup, a new end-to-end bottom-up architecture, specifically focused on better grouping the points by exploring the void space between objects. We design a two-branch network to extract point features and predict semantic labels and offsets, for shifting each point towards its respective instance centroid. A clustering component is followed to utilize both the original and offset-shifted point coordinate sets, taking advantage of their complementary strength. Further, we formulate the ScoreNet to evaluate the candidate instances, followed by the Non-Maximum Suppression (NMS) to remove duplicates. We conduct extensive experiments on two challenging datasets, ScanNet v2 and S3DIS, on which our method achieves the highest performance, 63.6% and 64.0%, compared to 54.9% and 54.4% achieved by former best solutions in terms of mAP with IoU threshold 0.5.

研究の動機と目的

• 物体間の空隙を活用して、点群の正確な 3D インスタンス分割を動機付ける。
• 点ごとのセマンティックラベルと重心指向のオフセットを共同で予測するボトムアップアーキテクチャを開発する。
• 近接して配置された物体の分離を改善するため、デュアルセットクラスタリング（元の点とオフセット移動後の点）を提案する。
• NMS の前に高品質なクラスタを評価・選択する ScoreNet を導入する。
• ScanNet v2 および S3DIS データセットで最先端の性能を示す。

提案手法

• 2 つのブランチからなるバックボーンが各点のセマンティックラベルとセントロイドのオフセットを生成する。
• 予測されたオフセットを用いて点をインスタンスセントロイドへとシフトし、シフト座標セットを形成する。
• 元の座標集合 P とシフト後の座標集合 Q の両方でクラスタリングを実施して C^p と C^q を形成し、その後 C = C^p ∪ C^q にマージする。
• ScoreNet はクラスタ特徴をエンコードし、各クラスタ提案に対してスコアを出力する。
• ScoreNet のスコアはソフト IoU ベースのターゲットで学習され、クラスタ品質を反映して最終予測のための NMS を導く。
• L = L_sem + L_o_dir + L_o_reg + L_c_score を最適化するエンドツーエンド学習。

実験結果

リサーチクエスチョン

• RQ1 3D ポイントクラウドのインスタンス分割は、物体間の空隙を活用してどのように改善できるか？
• RQ2 元の座標とオフセット移動後の座標というデュアル座標クラスタリングアプローチは、隣接するインスタンスを分離するための単一座標クラスタリングより優れているか？
• RQ3 学習済みのクラスタスコアリングモジュール（ScoreNet）は、NMS のための高品質なインスタンス提案の選択を改善するか？
• RQ4 元の座標クラスタリングとシフト座標クラスタリングを組み合わせることは、標準的な 3D インスタンス分割のベンチマークにどのような影響を与えるか？

主な発見

• PointGroup は ScanNet v2 テストで 63.6% mAP50 を達成し、以前の最高値を 8.7 ポイント上回った。
• S3DIS では PointGroup は 64.0% mAP50、69.6% mPrec50、69.2% mRec50 を達成し、従来手法を大きく上回った。
• アブレーションの結果、デュアルセットクラスタリング（P と Q）は P のみ又は Q のみの variante より良い性能を示した。
• クラスタリング半径 r と ScoreNet は性能に大きく寄与し、両方の座標セットを ScoreNet と併用すると最良の結果が得られた。
• PointGroup は ScanNet v2 の大多数のクラスで首位を占め、S3DIS でも複数指標で最先端の結果を達成した。