[論文レビュー] Instance Segmentation in 3D Scenes using Semantic Superpoint Tree Networks

Zhihao Liang, Zhihao Li+3 more|arXiv (Cornell University)|Aug 17, 2021

3D Shape Modeling and Analysis参考文献 38被引用数 10

ひとこと要約

本論文は、学習されたスーパポイント特徴から意味的スーパポイントツリー（SST）を構築し、二分木のノード分割による走査によってオブジェクトインスタンス候補を生成するエンドツーエンドの3次元インスタンスセグメンテーション手法、意味的スーパポイントツリー・ネットワーク（SSTNet）を提案する。本手法は最先端の性能を達成し、ScanNet（V2）のリーダーボードで2%高いmAPを記録し、第1位を獲得した。

ABSTRACT

Instance segmentation in 3D scenes is fundamental in many applications of scene understanding. It is yet challenging due to the compound factors of data irregularity and uncertainty in the numbers of instances. State-of-the-art methods largely rely on a general pipeline that first learns point-wise features discriminative at semantic and instance levels, followed by a separate step of point grouping for proposing object instances. While promising, they have the shortcomings that (1) the second step is not supervised by the main objective of instance segmentation, and (2) their point-wise feature learning and grouping are less effective to deal with data irregularities, possibly resulting in fragmented segmentations. To address these issues, we propose in this work an end-to-end solution of Semantic Superpoint Tree Network (SSTNet) for proposing object instances from scene points. Key in SSTNet is an intermediate, semantic superpoint tree (SST), which is constructed based on the learned semantic features of superpoints, and which will be traversed and split at intermediate tree nodes for proposals of object instances. We also design in SSTNet a refinement module, termed CliqueNet, to prune superpoints that may be wrongly grouped into instance proposals. Experiments on the benchmarks of ScanNet and S3DIS show the efficacy of our proposed method. At the time of submission, SSTNet ranks top on the ScanNet (V2) leaderboard, with 2% higher of mAP than the second best method. The source code in PyTorch is available at https://github.com/Gorilla-Lab-SCUT/SSTNet.

研究の動機と目的

• 既存の3次元インスタンスセグメンテーション手法が点クラスタリングをエンドツーエンド学習とは分離しており、データの不規則性や断片的なセグメンテーションに苦しむという限界を是正すること。
• スーパポイントにおける幾何的規則性を活用して、特にオブジェクト境界部でインスタンス候補の整合性を向上させること。
• 提案されたインスタンスセグメンテーションのための直接最適化を可能にするエンドツーエンドフレームワークを設計し、提案生成と精錬を1つの学習された構造に統合すること。
• 誤ったスーパポイントグループ化に対する耐性を高めるために、提案されたインスタンスブランチ内の誤分類ノードを削除する専用の精錬モジュール、CliqueNetを導入すること。

提案手法

• まず、入力点群からスーパポイントを計算し、点単位の特徴を点集合のプーリングによりスーパポイント単位の表現に集約する。
• 集約された特徴を用いて意味的スーパポイントツリー（SST）を構築し、スーパポイントをリーフとし、各内部ノードで学習されたバイナリ分類器に従って階層的なノード分割を実行する。
• ツリー走査はルートから開始され、ノードの意思決定が分割を避ける場合にオブジェクトインスタンスとしてブランチが提案され、スーパポイントの整合的なクラスタを形成する。
• CliqueNet精錬モジュールは、各提案されたツリーのブランチをグラフクリークに変換し、誤ってグループ化されたと予想されるスーパポイントを削除する学習可能なプルーニング機構を適用する。
• 最終的にScoreNetが精錬された候補を評価し、各インスタンスの信頼度スコアを伴って最終的なインスタンスセグメンテーション出力を生成する。
• 全パイプラインはエンドツーエンドで学習され、ツリー構築と分割ステップはインスタンスセグメンテーションの目的関数によって直接監視される。

実験結果

リサーチクエスチョン

• RQ1 点単位のクラスタリングと比較して、意味的スーパポイント特徴から構築された階層的ツリー構造が、3次元点群におけるインスタンス候補の質を向上させることができるか？
• RQ2 提案生成をエンドツーエンド学習プロセスに統合することで、分離されたクラスタリング段階と比較してmAPが向上し、断片化が軽減されるか？
• RQ3 CliqueNetのような精錬モジュールが、誤分類されたスーパポイントをプルーニングすることで、インスタンス候補の誤検出を効果的に低減できるか？
• RQ4 mAPおよびインスタンスの一貫性という観点から、SSTNetはScanNetやS3DISといった標準ベンチマークで最先端の手法と比較してどのように性能を発揮するか？

主な発見

• SSTNetは、ScanNet（V2）の検証セットでmAP 49.4を達成し、すべての先行手法を上回り、提出時における公式リーダーボードで第1位を獲得した。
• S3DISベンチマークでは、6分割交差検証下でmAP 54.1を達成し、PointGroup や OccuSeg などの先行最先端手法を顕著に上回った。
• アブレーションスタディの結果、CliqueNet精錬モジュールがmAPを0.6ポイント向上（49.4から50.0に）させ、高精度領域での有効性を示した。
• 学習された分割によるツリーベースの提案機構（SSTNet）は、しきい値ベースの分割（SST-Thresholding）やグラフベースの代替手法（Superpoint Graph）を上回り、特にmAP指標で顕著な優位性を示した。
• AP@25およびAP@50においても高い性能を発揮したため、異なるIoUしきい値においても一貫性があり、境界予測の信頼性が高いことが示された。