[論文レビュー] Few-Shot Point Cloud Region Annotation with Human in the Loop

Siddhant Jain, Sowmya Munukutla+1 more|arXiv (Cornell University)|Jun 11, 2019

3D Shape Modeling and Analysis参考文献 12被引用数 6

ひとこと要約

本論文は、スパースな人間のラベリング、幾何的領域拡張、および事前学習モデルの反復的少数-shotファインチューニングを組み合わせることで、最小限の人的介入で高精度なセマンティックセグメンテーションを達成する、人間を含むループフレームワークを提案する。この手法は、手動アプローチと比較してラベリング作業を最大80％削減し、データセットサイズの増加に伴いスケーラブルに拡張可能であり、大規模3次元データセットにおける高品質で多様なスケールのラベリングを可能にする。

ABSTRACT

We propose a point cloud annotation framework that employs human-in-loop learning to enable the creation of large point cloud datasets with per-point annotations. Sparse labels from a human annotator are iteratively propagated to generate a full segmentation of the network by fine-tuning a pre-trained model of an allied task via a few-shot learning paradigm. We show that the proposed framework significantly reduces the amount of human interaction needed in annotating point clouds, without sacrificing on the quality of the annotations. Our experiments also suggest the suitability of the framework in annotating large datasets by noting a reduction in human interaction as the number of full annotations completed by the system increases. Finally, we demonstrate the flexibility of the framework to support multiple different annotations of the same point cloud enabling the creation of datasets with different granularities of annotation.

研究の動機と目的

• 細粒度のセマンティックセグメンテーションを対象とした、高コストで非効率な手動3次元点群ラベリングの課題を解決すること。
• 大規模3次元データセットにおいて、高品質なラベリングを維持しながら人的ラベリング負荷を軽減すること。
• 同じオブジェクトに対して異なるクラス数をサポートすることで、柔軟で多様なスケールのセグメンテーションを可能にすること。
• 複数の点群にわたる経験を積むことで改善する、スケーラブルなラベリングフレームワークを構築すること。
• 人間のフィードバックとモデル予測を反復的に統合することで、ユーザーのクリック数と認知的負荷を最小限に抑えること。

提案手法

• フレームワークは、各セマンティッククラスごとに代表的な点を少数ラベル付けるスパースな人間ラベリングから始める。
• 3次元の幾何的手がかりを用いた領域拡張により、これらのラベルを伝搬させ、初期段階の粗いセグメンテーションを生成する。
• 新たにラベル付けされた点を用いて、少数-shot学習による事前学習モデルのファインチューニングを実施し、予測精度を向上させる。
• モデルが全点群のセグメンテーションを予測し、その後、人間のラベラーがスパースなフィードバックにより修正する。
• このモデルファインチューニング、予測、人間による修正のサイクルを収束するまで繰り返すことで、さらなる手動入力の必要性を低減する。
• システムは時間経過とともに適応する：より多くの点群がラベリングされると、モデルはデータセットの特徴に適応し、その後のラベリングに必要なユーザーの修正回数が減少する。

実験結果

リサーチクエスチョン

• RQ1 少数-shot学習アプローチは、密な点群セグメンテーションのための人的インタラクション数を顕著に削減できるか？
• RQ2 提案されたフレームワークのラベリング効率は、完全に手動でラベリングする方法と比較して、ユーザーのクリック数と所要時間の点でどのように異なるか？
• RQ3 反復的トレーニングを経た後、同じデータセットからの新しい点群に対して、モデルはどの程度一般化できるか？
• RQ4 再トレーニングを再び開始することなく、同じ点群に対して複数のセグメンテーションスケールをサポートできるか？
• RQ5 幾何的手がかりと人間のフィードバックを統合することで、最小限の監視下でもセグメンテーション精度がどのように向上するか？

主な発見

• 本フレームワークは、点群ラベリングのナイーブな最近傍探索ペイント法と比較して、平均して人間のクリック数を最大80％削減した。
• ラベリングされた点群が増えるごとにラベリング効率が向上し、モデルがデータセットの特性に適応することで、時間経過とともに必要なユーザー修正回数が減少した。
• 実際のノイズを含む、再構築された点群でも、高品質なセグメンテーションを達成した。これは、Large Dataset of Object Scansにおける定性的な結果で示された。
• 本フレームワークは柔軟で多様なスケールのセグメンテーションをサポートする——ユーザーは同じオブジェクトに対して異なるクラス数を定義でき、ネットワークの最終層を動的に再初期化できる。
• 後続の点群ではクリック数が顕著に減少したため、データセット全体にわたるスケーラビリティと学習の転送効果が示された。
• 最小限の監視下でも、人間のフィードバック、幾何的一致性、少数-shot学習の組み合わせが効果的であることが実証された。