[論文レビュー] Weakly Supervised Semantic Point Cloud Segmentation:Towards 10X Fewer Labels

Xun Xu, Gim Hee Lee|arXiv (Cornell University)|Apr 8, 2020

3D Shape Modeling and Analysis参考文献 35被引用数 29

ひとこと要約

本稿では、ラベル付きポイントの10%のみを用いて完全教師あり手法と同等の性能を達成する弱教師あり深層学習フレームワークを、3次元点群の意味セグメンテーションのために提案する。勾配近似、不正確な監視、シアンプスセルフラベル、空間/色の滑らかさ制約を活用することで、アノテーションコストを10倍削減しながら、3つの公開データセットで高い精度を維持する。

ABSTRACT

Point cloud analysis has received much attention recently; and segmentation is one of the most important tasks. The success of existing approaches is attributed to deep network design and large amount of labelled training data, where the latter is assumed to be always available. However, obtaining 3d point cloud segmentation labels is often very costly in practice. In this work, we propose a weakly supervised point cloud segmentation approach which requires only a tiny fraction of points to be labelled in the training stage. This is made possible by learning gradient approximation and exploitation of additional spatial and color smoothness constraints. Experiments are done on three public datasets with different degrees of weak supervision. In particular, our proposed method can produce results that are close to and sometimes even better than its fully supervised counterpart with 10$ imes$ fewer labels.

研究の動機と目的

• 3次元点群セグメンテーションデータのアノテーションコストの高さに対処し、必要なラベル付きポイントの数を削減すること。
• 深層学習モデルがわずかなラベル付きポイントの割合でのみ競争力のある性能を達成できるかどうかを調査すること。
• 最小限の監視のもとでも高いセグメンテーション精度を維持できる弱教師ありフレームワークを開発すること。
• 固定されたラベル付け予算のもとでの最適なアノテーション戦略について理論的洞察を提供すること。

提案手法

• 本手法は、ラベル付きポイントにのみソフトマックス交差エントロピー損失を適用する不完全な監視ブランチを用い、勾配を全勾配のサンプリング近似として扱う。
• 不正確な監視ブランチは、マルチインスタンス学習にインspiredされたサンプルレベルの交差エントロピー損失を適用し、負のカテゴリ活性化を抑制する。
• シアンプスセルフラベルブランチは、ランダムな平面内回転および反転を施した点群の予測同士の整合性を強制する。
• 空間的および色の滑らかさ制約は、類似した色を持つ隣接する点が一貫した予測を持つように促進し、トレーニングおよび推論の両方で適用される。
• 推論時ラベル伝播は、グラフ上でソフト制約付き最適化を実行することで行われ、空間的および色の連続性をさらに活用して予測を精緻化する。
• 本フレームワークはPointNetやDGCNNを含む複数のバックボーンエンコーダと互換性があり、アーキテクチャを越えて一般化を示す。

実験結果

リサーチクエスチョン

• RQ1 点群セグメンテーションのための深層ニューラルネットワークは、ポイントの10%しかラベルが付与されていなくても、競争力のある性能を達成できるか？
• RQ2 スパースラベルによる勾配近似は真の勾配にどのように収束するか？ そして、この収束を支配する統計的性質は何か？
• RQ3 固定されたラベル付け予算のもとで最適なアノテーション戦略は何か — すなわち、多数のサンプルに対して少量のラベルを付与するか、少数のサンプルに対して多数のラベルを付与するか？
• RQ4 自己監視や滑らかさ制約といった追加の制約は、弱教師あり設定におけるモデルの一般化性能をどのように向上させるか？

主な発見

• 本手法は、ラベル付きポイントを10%に制限しても、完全教師ありモデルと同等のセグメンテーション性能を達成し、アノテーションコストを10倍削減する。
• ShapeNet、PartNet、S3DISの3つのデータセットにおいて、10%ラベル化状態でmIoUが完全監視時と2%以内に収束し、S3DISでは10%ラベル化で44.5 mIoUを達成する。
• アブレーションスタディにより、特にシアンプスセルフラベルと空間/色の滑らかさ制約が性能向上に大きく寄与することが確認され、推論時ラベル伝播によりさらなる向上が得られる。
• 理論的分析により、スパースラベルからの勾配は分布的に真の勾配に収束することが示され、分散はラベル付きポイント数に反比例することが判明した。
• 固定されたアノテーション予算のもとで、1つのサンプルあたりのラベル数を少なくても多数のサンプルをラベル化する戦略が、少数のサンプルを多くラベル化する戦略を上回ることが判明した。