[論文レビュー] SQN: Weakly-Supervised Semantic Segmentation of Large-Scale 3D Point Clouds with 1000x Fewer Labels.

Qingyong Hu, Bo Yang+5 more|arXiv (Cornell University)|Apr 11, 2021

3D Shape Modeling and Analysis参考文献 22被引用数 18

ひとこと要約

本論文は、完全に教師あり手法が要するラベル点の0.1%しか使用しない弱教師あり手法である意味的クエリネットワーク（SQN）を提案する。周辺点間の意味的類似性を活用して監視信号を暗黙的に拡張することで、6つの大規模データセットで最先端の性能を達成しながら、ラベル付け作業を1000倍軽減する。

ABSTRACT

We study the problem of labelling effort for semantic segmentation of large-scale 3D point clouds. Existing works usually rely on densely annotated point-level semantic labels to provide supervision for network training. However, in real-world scenarios that contain billions of points, it is impractical and extremely costly to manually annotate every single point. In this paper, we first investigate whether dense 3D labels are truly required for learning meaningful semantic representations. Interestingly, we find that the segmentation performance of existing works only drops slightly given as few as 1% of the annotations. However, beyond this point (e.g. 1 per thousand and below) existing techniques fail catastrophically. To this end, we propose a new weak supervision method to implicitly augment the total amount of available supervision signals, by leveraging the semantic similarity between neighboring points. Extensive experiments demonstrate that the proposed Semantic Query Network (SQN) achieves state-of-the-art performance on six large-scale open datasets under weak supervision schemes, while requiring only 1000x fewer labeled points for training. The code is available at this https URL.

研究の動機と目的

• 密な点レベルのアノテーションが、効果的な3次元意味セグメンテーションに本当に必要かどうかを調査すること。
• 数十億の点を含む大規模3次元点群のラベル付けコストを低減すること。
• 大幅に削減されたアノテーション要件で高いセグメンテーション性能を維持する弱教師あり手法を開発すること。
• 周辺点間の意味的類似性が、学習を促進するための監視の代理として効果的に機能するかどうかを検討すること。

提案手法

• SQNは、点間の局所的意味的類似性を活用して、監視信号の有効な拡張を実現する、新しい弱教師ありパラダイムを導入する。
• 同定された意味的に一貫した近傍領域を特定・活用するために、学習可能なクエリメカニズムを用いる。
• 意味的に類似した近傍点の特徴埋め込みが、埋め込み空間内で近接するようにする対照学習の目的関数を定式化する。
• スパースな点レベルのアノテーションと、近傍点からの自己教師付き対照信号の組み合わせにより、エンドツーエンドでネットワークを訓練する。
• 大規模な点群（数十億点）に対してもスケーラブルで効率的なように、フレームワークを設計する。

実験結果

リサーチクエスチョン

• RQ1 標準的なラベル点数の1%しかラベルを付けていない場合でも、意味セグメンテーションの性能を維持できるか？
• RQ2 ラベル密度が1%未満に低下した場合、性能の低下はどの程度発生するか？
• RQ3 周辺点間の意味的類似性を、3次元セグメンテーションにおける弱教師あり監視を補強するために効果的に利用できるか？
• RQ4 提案手法は、最小限のラベル付けで弱教師あり条件下で最先端の性能を達成できるか？

主な発見

• SQNは、弱教師あり設定下で6つの大規模3次元点群データセットで最先端の性能を達成する。
• ラベル点をたった0.1%にまで削減しても、高いセグメンテーション精度を維持でき、ラベル付け作業を1000倍軽減する。
• ラベル密度が1%未満に低下すると性能が著しく低下するため、既存手法では重要な閾値が存在することが示された。
• 周辺点間の意味的類似性の活用により、最小限のアノテーションで効果的な自己教師あり学習が可能となり、モデルの汎化性能が顕著に向上した。