[論文レビュー] Label-Efficient Point Cloud Semantic Segmentation: An Active Learning Approach

Xian Shi, Xun Xu+4 more|arXiv (Cornell University)|Jan 18, 2021

3D Shape Modeling and Analysis参考文献 27被引用数 18

ひとこと要約

本稿では、クリックベースのアノテーションコスト測定と、不確実性、多様性、形状レベルの一貫性を組み合わせた新しい獲得関数を用いた、ラベル効率の良い3次元点群セマンティックセグメンテーションのためのスーパーポイントベースのアクティブラーニングフレームワークを提案する。0.8%の総クリック数でのアノテーションで、完全に教師あり学習の95%以上の性能を達成し、ポイントレベルおよびインスタンスレベルの選択戦略を上回る性能を発揮する。

ABSTRACT

Deep learning models are the state-of-the-art methods for semantic point cloud segmentation, the success of which relies on the availability of large-scale annotated datasets. However, it can be extremely time-consuming and prohibitively expensive to compile such datasets. In this work, we propose an active learning approach to maximize model performance given limited annotation budgets. We investigate the appropriate sample granularity for active selection under realistic annotation cost measurement (clicks), and demonstrate that super-point based selection allows for more efficient usage of the limited budget compared to point-level and instance-level selection. We further exploit local consistency constraints to boost the performance of the super-point based approach. We evaluate our methods on two benchmarking datasets (ShapeNet and S3DIS) and the results demonstrate that active learning is an effective strategy to address the high annotation costs in semantic point cloud segmentation.

研究の動機と目的

• 大規模な3次元点群セマンティックセグメンテーションデータセットにおける高いアノテーションコストを低減すること。
• 現実的なクリックベースのコスト測定を想定したもとで、ポイントレベル、スーパーポイントレベル、インスタンスレベルのサンプル選択の粒度の有効性を調査すること。
• 獲得関数に形状の多様性項と局所的一致性制約を導入することで、制限されたアノテーション予算下でもモデル性能を向上させること。
• アクティブラーニングが3次元セマンティックセグメンテーションにおけるラベリング作業の削減に実用的で効率的な戦略であることを示すこと。

提案手法

• 幾何的に類似したポイントをスーパーポイントにグループ化することで、1ラベルあたりのアノテーションコストを低減するスーパーポイントベースの選択を提案する。
• 従来のポイント数測定とは異なり、現実のラベリング作業の負荷を反映するクリックベースのアノテーションコストメトリクスを導入する。
• 不確実性、特徴の多様性、および新しい形状レベルの多様性項を組み合わせたハイブリッド獲得関数を設計し、情報量の多いサンプル選択を支援する。
• 各スーパーポイント内での予測の一貫性を強制する局所的一致性損失を適用し、未ラベルデータを活用して一般化性能を向上させる。
• 幾何的特徴の有無を比較することで、グループ化におけるロバストネスとノイズ低減効果を評価する。
• 2段階のトレーニングパイプラインを採用：まず弱いラベルデータで事前学習を行い、その後、モデル微調整を繰り返し行うアクティブラーニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 現実的なクリックベースのコスト測定を想定した場合、スーパーポイントベースの選択はポイントレベルやインスタンスレベルの選択よりも効率的であるか？
• RQ2 獲得関数に形状レベルの多様性を組み込むことで、制限されたアノテーション予算下でのモデル性能にどのような影響を与えるか？
• RQ3 スーパーポイント内での局所的一致性制約を導入することで、未ラベルデータを活用してモデルの一般化性能を向上させられるか？
• RQ4 アノテーション効率とセグメンテーション精度のバランスを取るには、1形状あたりの最適なスーパーポイント数は何か？

主な発見

• スーパーポイントベースの選択は、同じクリック予算下でポイントレベルおよびインスタンスレベルの選択を上回る最高の性能効率を達成した。
• 不確実性、多様性、形状レベルの項を組み合わせた提案された獲得関数は、ベースライン戦略と比較して顕著にモデルの精度を向上させた。
• スーパーポイントクラスタリングに幾何的特徴を組み込むことで、1形状あたり50個のスーパーポイントでノイズレートが5.05%から4.82%に低下し、グループ化品質が向上した。
• 1形状あたり500個のスーパーポイントにクラスタリングすると、10,000クリックの予算下で最高のmIoU（69.0%）を達成し、50～1,000個の設定を上回った。
• 20万クリック（完全アノテーションコストの0.8%）でのアノテーションで、ShapeNetおよびS3DISデータセットの両方で完全に教師ありベースラインのmIoUの95%以上を達成した。
• ランダム選択が驚くほど優れたベースラインとして機能し、一部の設定では従来の不確実性および多様性手法を上回った。これは、3次元点群ラベリングにおける独自の課題を浮き彫りにした。