[論文レビュー] SSPC-Net: Semi-supervised Semantic 3D Point Cloud Segmentation Network

Mingmei Cheng, Le Hui+2 more|arXiv (Cornell University)|Apr 16, 2021

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

SSPC-Net は、少数のラベル付き点を活用し、未ラベル点に対して高品質な疑似ラベルを生成することで、アノテーションコストを低減する半教師付き 3D ポイントクラウドセグメンテーションネットワークである。スーパポイントグラフを用いた動的ラベル伝搬とスーパポイントドロップアウト戦略により疑似ラベルを精緻化し、カップルドアテンションメカニズムによって特徴の識別性を向上させ、わずか 0.01% のラベル付き点での状態SOTA性能を達成している。

ABSTRACT

Point cloud semantic segmentation is a crucial task in 3D scene understanding. Existing methods mainly focus on employing a large number of annotated labels for supervised semantic segmentation. Nonetheless, manually labeling such large point clouds for the supervised segmentation task is time-consuming. In order to reduce the number of annotated labels, we propose a semi-supervised semantic point cloud segmentation network, named SSPC-Net, where we train the semantic segmentation network by inferring the labels of unlabeled points from the few annotated 3D points. In our method, we first partition the whole point cloud into superpoints and build superpoint graphs to mine the long-range dependencies in point clouds. Based on the constructed superpoint graph, we then develop a dynamic label propagation method to generate the pseudo labels for the unsupervised superpoints. Particularly, we adopt a superpoint dropout strategy to dynamically select the generated pseudo labels. In order to fully exploit the generated pseudo labels of the unsupervised superpoints, we furthermore propose a coupled attention mechanism for superpoint feature embedding. Finally, we employ the cross-entropy loss to train the semantic segmentation network with the labels of the supervised superpoints and the pseudo labels of the unsupervised superpoints. Experiments on various datasets demonstrate that our semi-supervised segmentation method can achieve better performance than the current semi-supervised segmentation method with fewer annotated 3D points. Our code is available at https://github.com/MMCheng/SSPC-Net.

研究の動機と目的

• 3D ポイントクラウドのセマンティックセグメンテーションのためのアノテーションにかかる高コストと人的負荷を軽減すること。
• 完全教師ありデータに依存しない半教師付き 3D ポイントクラウドセグメンテーションの性能を向上させること。
• 長距離依存関係と不確実性を考慮した精緻化手法を用いて、未ラベル点に対する疑似ラベルを正確に推定する手法を開発すること。
• カップルドアテンションメカニズムにより、教師ありと拡張済み（疑似ラベル付き）スーパポイントを同時にモデリングすることで特徴学習を強化すること。

提案手法

• 幾何的類似性を用いて 3D ポイントクラウドをスーパポイントに分割することで、計算複雑性を低減し、グラフベースの推論を可能にする。
• ゲート付きグラフニューラルネットワークを用いて特徴埋め込みを実現するスーパポイントグラフを構築し、スーパポイント間の長距離依存関係をモデル化する。
• 動的ラベル伝搬メカニズムにより、教師ありスーパポイントのラベルをグラフエッジに沿って、意味的に類似した隣接スーパポイントに伝搬する。
• ラベル伝搬中に信頼度が低い疑似ラベル付きスーパポイントをドロップアウトする戦略により、ラベル品質を向上させる。
• 教師ありと拡張済みスーパポイントを交互に注目するカップルドアテンションメカニズムにより、特徴の識別性を高め、不確実性を低減する。
• 実際のラベルと精緻化された疑似ラベルの両方の交差エントロピー損失を組み合わせて、ネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 スーパポイントグラフ上で動的ラベル伝搬を適用することで、未ラベルの 3D ポイントクラウド領域に対して高品質な疑似ラベルを効果的に生成できるか？
• RQ2 スーパポイントドロップアウト戦略を組み込むことで、半教師付き 3D セグメンテーションにおける疑似ラベルの信頼性がどのように向上するか？
• RQ3 教師ありと疑似ラベル付きスーパポイントを同時にモデリングするカップルドアテンションメカニズムが、特徴学習をどの程度向上できるか？
• RQ4 提案手法は、従来の半教師付きアプローチと比較して、顕著に少ないアノテーション点で優れたセグメンテーション性能を達成できるか？

主な発見

• S3DIS データセットの Area5 において、わずか 0.01% のラベル付き点でのみ、SSPC-Net は平均交差率（mIoU）51.5% を達成し、現在の最先端手法を上回った。
• 拡張済み（疑似ラベル付き）スーパポイントの全体的正答率（OA）は、0.01% の監視率で 90.9% に達し、生成された疑似ラベルの高品質さを裏付けた。
• アブレーションスタディの結果、動的ラベル伝搬とカップルドアテンションの追加により、mIoU がそれぞれ 3.1 点および 4.5 点向上し、その有効性が確認された。
• 超低監視率でもモデルの性能が安定しており、わずか 0.002% のラベル付き点でのみ 43.0% の mIoU を達成した。
• 動的ラベル伝搬の最適な間隔は M=40 エポックであり、この期間でラベル精緻化と訓練安定性の最良なバランスが達成された。
• 監視が希薄な場合、拡張済みスーパポイントの割合が顕著に増加し、本手法が低アノテーション予算下でも疑似ラベル生成に強く依存し、その有効性を示している。