[論文レビュー] Weakly Supervised Semantic Segmentation for Large-Scale Point Cloud

Yachao Zhang, Zonghao Li+4 more|arXiv (Cornell University)|Dec 9, 2022

Remote Sensing and LiDAR Applications被引用数 8

ひとこと要約

本論文は、自己教師あり点群カラーリゼーションをプロトタイプタスクとして活用し、特徴表現を向上させるとともに、クラスプロトタイプを用いたスパースラベル伝播機構を導入することで、限られたアノテーションを効果的に伝播させる、大規模点群向けの弱教師ありセマンティックセグメンテーション手法を提案する。本手法は、最小限のラベルデータで、完全教師あり手法と同等の性能を達成する。

ABSTRACT

Existing methods for large-scale point cloud semantic segmentation require expensive, tedious and error-prone manual point-wise annotations. Intuitively, weakly supervised training is a direct solution to reduce the cost of labeling. However, for weakly supervised large-scale point cloud semantic segmentation, too few annotations will inevitably lead to ineffective learning of network. We propose an effective weakly supervised method containing two components to solve the above problem. Firstly, we construct a pretext task, extit{i.e.,} point cloud colorization, with a self-supervised learning to transfer the learned prior knowledge from a large amount of unlabeled point cloud to a weakly supervised network. In this way, the representation capability of the weakly supervised network can be improved by the guidance from a heterogeneous task. Besides, to generate pseudo label for unlabeled data, a sparse label propagation mechanism is proposed with the help of generated class prototypes, which is used to measure the classification confidence of unlabeled point. Our method is evaluated on large-scale point cloud datasets with different scenarios including indoor and outdoor. The experimental results show the large gain against existing weakly supervised and comparable results to fully supervised methods\footnote{Code based on mindspore: https://github.com/dmcv-ecnu/MindSpore\_ModelZoo/tree/main/WS3\_MindSpore}.

研究の動機と目的

• 完全教師ありの大規模点群セマンティックセグメンテーションにおける高いアノテーションコストを、ラベル付き点の少数のみを用いて低減すること。
• 限られたアノテーションが学習の効果を妨げる弱教師あり設定において、特徴表現を向上させること。
• 大規模点群における未ラベル点への疑似ラベル伝播を効率的かつスケーラブルに行う手法を開発すること。
• 未ラベルデータにおける自己教師あり事前学習から得た知識を、弱教師ありセグメンテーションの性能向上に活用すること。

提案手法

• 未ラベルデータからセマンティック表現を学ぶために、色空間変換を用いた自己教師ありプロトタイプタスクとしての点群カラーリゼーションを設計する。
• 局所的な知覚正則化項を導入し、局所的特徴の一貫性を向上させ、セグメンテーションの目的関数と整合性を保つ。
• カラーリゼーションタスクで事前学習した特徴を、弱教師ありセグメンテーションネットワークの初期化に使用し、知識の転送を実現する。
• クラスプロトタイプを用いて分類の信頼度を測定し、疑似ラベルを効率的に伝播させるスパースラベル伝播機構を導入する。
• 特徴表現が学習中に向上するに従い、伝播の影響が非線形に増大するように重み付けを行う。
• 弱教師あり交差エントロピー損失と正則化されたラベル伝播損失を組み合わせ、エンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 未ラベル点群における自己教師あり事前学習が、弱教師ありセマンティックセグメンテーションにおける特徴表現を向上させることができるか？
• RQ2 計算コストを著しく増加させることなく、大規模点群の未ラベル点への疑似ラベルを効果的に伝播できるか？
• RQ3 カラーリゼーションのような異種のプロトタイプタスクが、最小限のアノテーションでセグメンテーション性能を向上させるのに有用なインダクティブバイアスを提供できるか？
• RQ4 提案手法が、大規模データセットにおいて完全教師ありベースラインと同等の性能を達成できるか？

主な発見

• S3DIS Area 5では、1%のラベル付き点のみで64.0%のmIoUを達成し、ベースラインを2.7%上回った。
• S3DISでは10%のラベル付き点で64.0%のmIoUを達成し、完全教師ありRandLA-Net（64.8% mIoU）に近い性能に到達した。
• Semantic3D（reduced-8）では、10%のラベル付き点で73.3%のmIoUを達成し、既存の弱教師あり手法を上回った。
• アブレーションスタディにより、自己教師あり事前学習が1点設定で最大5.0%の性能向上をもたらすことが確認され、特に低ショット状況で顕著な恩恵をもたらした。
• 非線形重み付けを施したスパースラベル伝播は、1%ラベルデータでの伝播なし比較でmIoUを2.7%向上させ、その有効性を示した。
• ラベル伝播による1エポックあたりの学習時間は13秒増加（280秒に）したが、推論時間はRandLA-Netとほぼ同等（116秒 vs. 115秒）であった。