[論文レビュー] GrowSP: Unsupervised Semantic Segmentation of 3D Point Clouds

Zi‐Hui Zhang, Bo Yang+2 more|arXiv (Cornell University)|May 25, 2023

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

GrowSPは、人間のアノテーションや事前学習モデルを一切必要としない、実世界のポイントクラウド向けの最初の完全に自己教師あり3次元セマンティックセグメンテーション手法を提案する。特徴抽出器、スーパーポイント構築モジュール、クラスタリングモジュールを備えた段階的スーパーポイント成長戦略を用い、S3DISおよびSemanticKITTIデータセットにおいて完全教師あり手法に近い性能を達成する。

ABSTRACT

We study the problem of 3D semantic segmentation from raw point clouds. Unlike existing methods which primarily rely on a large amount of human annotations for training neural networks, we propose the first purely unsupervised method, called GrowSP, to successfully identify complex semantic classes for every point in 3D scenes, without needing any type of human labels or pretrained models. The key to our approach is to discover 3D semantic elements via progressive growing of superpoints. Our method consists of three major components, 1) the feature extractor to learn per-point features from input point clouds, 2) the superpoint constructor to progressively grow the sizes of superpoints, and 3) the semantic primitive clustering module to group superpoints into semantic elements for the final semantic segmentation. We extensively evaluate our method on multiple datasets, demonstrating superior performance over all unsupervised baselines and approaching the classic fully-supervised PointNet. We hope our work could inspire more advanced methods for unsupervised 3D semantic learning.

研究の動機と目的

• セマンティックセグメンテーションのための3次元ポイントクラウドデータセットにおける人間によるアノテーションの高コストと現実的でない問題に対処すること。
• 3次元セマンティックセグメンテーションにおいて、事前学習モデルやいかなる形の人的監視も必要としないこと。
• 自己教師学習を通じて、生の非構造的ポイントクラウドから複雑なセマンティッククラスを直接発見すること。
• ラベルなしでセマンティック構造を学習できるスケーラブルでエンドツーエンドの自己教師ありパイプラインを開発すること。
• 疎な3次元データにおける段階的近傍拡大によって、自然にセマンティックプリミティブが出現することを示すこと。

提案手法

• 生のポイントクラウドから初期ポイント特徴を学習するため、トレーニングされていないニューラルネットワーク（例：SparseConv）に基づくポイント単位の特徴抽出器。
• 訓練中に局所的近傍を段階的に拡大してより大きなスーパーポイントに成長させるスーパーポイント構築モジュール。
• 同じスーパーポイント内では類似した特徴を促進し、異なるスーパーポイント間では特徴を遠ざけるように、段階的なトレーニング戦略。
• 学習済み特徴を用いて標準的なクラスタリング（例：K-means）を実行し、スーパーポイントをセマンティッククラスにグループ化するセマンティックプリミティブクラスタリングモジュール。
• 空間的構造とスーパーポイント内での特徴の一貫性にのみ依存し、すべての学習が幾何学的・構造的進化によって駆動される完全に自己教師ありの方法。
• 事前学習や人間によるアノテーションデータは一切使用せず、すべての学習がスーパーポイントの幾何学的および構造的進化によって駆動される。

実験結果

リサーチクエスチョン

• RQ1 人間によるアノテーションラベルや事前学習モデルが一切ない状態でも、3次元セマンティックセグメンテーションを達成できるか？
• RQ2 段階的スーパーポイント成長戦略は、生の3次元ポイントクラウドにおいて意味のあるセマンティックプリミティブを発見可能か？
• RQ3 成長するスーパーポイントの自己教師ありクラスタリングは、完全教師あり手法と競合可能な性能を達成できるか？
• RQ4 段階的スーパーポイント戦略は、自己教師あり2次元手法の直接的適用や自己教師あり事前学習と比較して、どのように優れているか？
• RQ5 スーパーポイントのサイズと成長戦略の影響は、学習されたセマンティックセグメンテーションの品質にどのような影響を与えるか？

主な発見

• S3DISデータセットにおいて、GrowSPはmIoU 38.3%を達成し、すべての自己教師ありベースラインを大きく上回り、完全教師ありPointNetの性能に近づいた。
• SemanticKITTIデータセットでは、mIoU 14.3%を達成し、すべての自己教師あり手法を上回り、大規模な屋外シーンへの強い一般化性能を示した。
• 特に'car'、'truck'、'building'などの複雑なカテゴリにおいて、IIC、PICIEおよびその変種を大きく上回った。
• 段階的スーパーポイント成長戦略により、疎な領域ですら点レベルでは特定できないセマンティックプリミティブをモデルが発見できた。
• S3DISの'wall'カテゴリでは76.0%のmIoUを達成し、平面的・構造的要素に対して優れた性能を示した。
• アブレーションスタディにより、段階的成長機構が不可欠であることが確認され、静的スーパーポイントや固定近傍サイズでは著しく悪い結果が得られた。