[論文レビュー] P-SLCR: Unsupervised Point Cloud Semantic Segmentation via Prototypes Structure Learning and Consistent Reasoning

Lixin Zhan, Jie Jiang+4 more|arXiv (Cornell University)|Mar 6, 2026

3D Shape Modeling and Analysis被引用数 0

ひとこと要約

P-SLCRは、整合的プロトタイプと曖昧プロトタイプの二重ライブラリを用いた教師なしポイントクラウドセマンティックセグメンテーションフレームワークで、構造学習と整合的推論により、S3DIS、SemanticKITTI、ScanNetにおける教師なし手法の最先端結果を達成する。

ABSTRACT

Current semantic segmentation approaches for point cloud scenes heavily rely on manual labeling, while research on unsupervised semantic segmentation methods specifically for raw point clouds is still in its early stages. Unsupervised point cloud learning poses significant challenges due to the absence of annotation information and the lack of pre-training. The development of effective strategies is crucial in this context. In this paper, we propose a novel prototype library-driven unsupervised point cloud semantic segmentation strategy that utilizes Structure Learning and Consistent Reasoning (P-SLCR). First, we propose a Consistent Structure Learning to establish structural feature learning between consistent points and the library of consistent prototypes by selecting high-quality features. Second, we propose a Semantic Relation Consistent Reasoning that constructs a prototype inter-relation matrix between consistent and ambiguous prototype libraries separately. This process ensures the preservation of semantic consistency by imposing constraints on consistent and ambiguous prototype libraries through the prototype inter-relation matrix. Finally, our method was extensively evaluated on the S3DIS, SemanticKITTI, and Scannet datasets, achieving the best performance compared to unsupervised methods. Specifically, the mIoU of 47.1% is achieved for Area-5 of the S3DIS dataset, surpassing the classical fully supervised method PointNet by 2.5%.

研究の動機と目的

• 注釈なしの生の3Dポイントクラウドに対する教師なしセマンティックセグメンテーションの動機づけ。
• 構造学習と推論を介して学習を誘導するための二重プロトタイプライブラリ（整合的と曖昧）の導入。
• 高品質な整合ポイントを選択し、曖昧なポイントを洗練させる仕組みの開発。
• プロトタイプライブラリ間のセマンティック整合性をプロトタイプ間相関マトリクスを通じて強制。
• 屋内外データセットにおける教師なしベースラインに対する最先端性能のデモンストレーション。

提案手法

• 局所クラスタリング中心からEMAで更新される二つのプロトタイプライブラリ（整合的と曖昧）を構築。
• 信頼度閾値を用いてネットワーク予測と疑似ラベルの一致により整合ポイントを定義し、データを整合セットと曖昧セットに分割。
• 整合プロトタイプと整合ポイント特徴を揃える整合構造学習損失を計算。
• 整合プロトタイプと曖昧プロトタイプのそれぞれに対する別個の類似性マトリクスを用いたセマンティック関係整合推論制約を形成し、分布的発散を最小化。
• クロスエントロピーに基づく教師あり信号と L_sl（structureLearning）および L_cr（consistent reasoning）損失を組み合わせた L_total でモデルを訓練。

Figure 1: P-SLCR architecture for structural learning and consistent reasoning through a learnable prototype-based library. The consistent points are continuously expanding and increasingly resembling the prototype.

実験結果

リサーチクエスチョン

• RQ1 二重プロトタイプライブラリ（整合的 vs 曖昧）が、ポイントクラウドの効果的な教師なしセマンティックセグメンテーションを可能にするか。
• RQ2 整合構造学習はポイント特徴とプロトタイプ表現の整合性を改善するか。
• RQ3 セマンティック関係整合推論は整合的および曖昧なプロトタイプ間でセマンティック整合性を維持・伝播するか。

主な発見

Method	OA(%)	mAcc(%)	mIoU(%)
PointNet	77.5	59.1	44.6
PointNet++ (Supervised)	77.5	62.6	50.1
SparseConv	88.4	69.2	60.8
GrowSP	78.4	57.2	44.5
U3DS 3	75.5	55.8	42.8
PointDC	54.1	-	22.6
KMeans	22.1	21.2	9.4
DBSCAN	17.5	19.8	9.2
IIC-S-PFH	31.2	16.3	9.1
PICIE-S-PFH	-	-	-
P-SLCR (ours)	79.7	57.2	47.1

• P-SLCRは教師なし設定でS3DIS Area-5において47.1%の mIoU を達成し、古典的な完全教師付き PointNet を mIoUで2.5%上回る。
• S3DIS 6-Fold では P-SLCR が 47.5% の mIoU を達成し、指標を超えて GrowSP を上回る。
• SemanticKITTI（検証データ）で P-SLCR は 15.3% の mIoU と 55.9% の OA を達成し、従来の教師なし手法を上回る。
• SemanticKITTI テストでは P-SLCR が 15.9% の mIoU と 61.4% の OA を達成し、OA/mIoU で GrowSP と U3DS3 を上回る。
• ScanNet では P-SLCR が 29.0% の mIoU と 61.4% の OA を達成し、いくつかの指標で GrowSP および U3DS3 を上回る。
• アブレーション研究では整合推論を除くと mIoU が大幅に低下し、その重要な役割を確認。

Figure 2: An overview of our P-SLCR with features extracted by SparseConv, pseudo-labels and predictions obtained by clustering and segmenting the header. The proposed reliability classifies the scene into consistent and ambiguous points and establishes an updatable prototype library to construct co