[論文レビュー] MASC: Multi-scale Affinity with Sparse Convolution for 3D Instance Segmentation

Chen Liu, Yasutaka Furukawa|arXiv (Cornell University)|Feb 12, 2019

3D Shape Modeling and Analysis参考文献 19被引用数 81

ひとこと要約

MASCを導入する。スパース畳み込みベースのネットワークは意味スコアとマルチスケール点の親和性を予測し、提案なしで3D点をインスタンスへクラスタリングする。ScanNetで最先端の結果を達成。

ABSTRACT

We propose a new approach for 3D instance segmentation based on sparse convolution and point affinity prediction, which indicates the likelihood of two points belonging to the same instance. The proposed network, built upon submanifold sparse convolution [3], processes a voxelized point cloud and predicts semantic scores for each occupied voxel as well as the affinity between neighboring voxels at different scales. A simple yet effective clustering algorithm segments points into instances based on the predicted affinity and the mesh topology. The semantic for each instance is determined by the semantic prediction. Experiments show that our method outperforms the state-of-the-art instance segmentation methods by a large margin on the widely used ScanNet benchmark [2]. We share our code publicly at https://github.com/art-programmer/MASC.

研究の動機と目的

• 大規模な室内シーンにおける堅牢な3Dインスタンスセグメンテーションの動機付け。
• 全シーンのボクセル化された点群を効率的に処理するためにスパース畳み込みを活用する。
• セマンティックスコアとマルチスケールボクセル親和性を予測してインスタンスへのクラスタリングを可能にする。
• 学習済みの親和性とメッシュトポロジーを用いた簡易なクラスタリング手法を開発する。

提案手法

• サブマニフォールドスパース畳み込みを用いたU-Netで全体シーンのボクセルグリッドを処理する。
• 隣接ボクセル間で異なるスケールの複数の親和性ブランチと各ボクセルのセマンティックスコアを予測する。
• 平均化したマルチスケール親和性とメッシュトポロジーに基づいてノードを統合するクラスタリングアルゴリズムを定義する。
• 各インスタンスに対して、そのポイントからの多数決でセマンティックラベルを割り当てる。
• スパース領域での局所的な親和性予測を改善するために、ランダム密化でデータを拡張する。

実験結果

リサーチクエスチョン

• RQ1 スパース畳み込みによるマルチスケール親和性予測は、効果的な提案なしの3Dインスタンスセグメンテーションを実現できるか。
• RQ2 提案したクラスタリングアルゴリズムは、予測された親和性とメッシュトポロジーをどう活用して一貫性のあるインスタンスを形成するか。
• RQ3 ScanNetの性能に対する2つの親和性スケールの使用の影響はどうか。
• RQ4 MASCはScanNetベンチマークで最先端手法とどう比較されるか。

主な発見

Method	avg	浴室	ベッド	本棚	キャビネット	椅子	カウンター	カーテン	机	扉	その他	写真・絵	冷蔵庫	ショーケース	シンク	ソファ	テーブル	トイレ	窓
3d-SIS	0.382	1.000	0.432	0.245	0.190	0.577	0.013	0.263	0.033	0.320	0.240	0.075	0.422	0.857	0.117	0.699	0.271	0.883	0.235
GSPN	0.306	0.500	0.405	0.311	0.348	0.589	0.054	0.068	0.126	0.283	0.290	0.028	0.219	0.214	0.331	0.396	0.275	0.821	0.245
SGPN	0.143	0.208	0.390	0.169	0.065	0.275	0.029	0.069	0.000	0.087	0.043	0.014	0.027	0.000	0.112	0.351	0.168	0.438	0.138
Ours	0.447	0.528	0.555	0.381	0.382	0.633	0.002	0.509	0.260	0.361	0.432	0.327	0.451	0.571	0.367	0.639	0.386	0.980	0.276

• ScanNetベンチマークの3Dインスタンスセグメンテーション（IoU 0.5でのAP）で最先端手法を上回る。
• 提案手法 Ours は Table 1 の多くのカテゴリで3D-SIS、GSPN、SGPNを上回るスコアを達成。
• クラスタリングに基づくマルチスケール親和性アプローチは、提案手法が提案なしの検出で強力なインスタンスセグメンテーションを実現。
• インスタンスのセマンティックラベルは、その構成ポイントからの最大多数決で決定される。
• データ密化と平面物体処理を取り入れ、同一平面上または平坦な物体のセグメンテーションを改善する。