[論文レビュー] Self-Supervised Few-Shot Learning on Point Clouds

Charu Sharma, Manohar Kaul|arXiv (Cornell University)|Sep 29, 2020

3D Shape Modeling and Analysis参考文献 26被引用数 47

ひとこと要約

この論文は、ポイントクラウドに対するカバーツリーに基づく自己教師あり事前学習アプローチを導入し、下流の少数ショット分類およびセマンティックセグメンテーションの性能を改善し、従来の自己教師ありおよび教師あり手法を上回る。

ABSTRACT

The increased availability of massive point clouds coupled with their utility in a wide variety of applications such as robotics, shape synthesis, and self-driving cars has attracted increased attention from both industry and academia. Recently, deep neural networks operating on labeled point clouds have shown promising results on supervised learning tasks like classification and segmentation. However, supervised learning leads to the cumbersome task of annotating the point clouds. To combat this problem, we propose two novel self-supervised pre-training tasks that encode a hierarchical partitioning of the point clouds using a cover-tree, where point cloud subsets lie within balls of varying radii at each level of the cover-tree. Furthermore, our self-supervised learning network is restricted to pre-train on the support set (comprising of scarce training examples) used to train the downstream network in a few-shot learning (FSL) setting. Finally, the fully-trained self-supervised network's point embeddings are input to the downstream task's network. We present a comprehensive empirical evaluation of our method on both downstream classification and segmentation tasks and show that supervised methods pre-trained with our self-supervised learning method significantly improve the accuracy of state-of-the-art methods. Additionally, our method also outperforms previous unsupervised methods in downstream classification tasks.

研究の動機と目的

• ラベル付きデータが不足する少数ショット学習（FSL）下で、堅牢なポイントクラウド表現を学習する動機づけ。
• ポイントクラウドのカバーツリーに基づく階層的分解を提案し、代理自己教師ありタスクを生成する。
• 下流の分類およびセグメンテーションに有用な埋め込みを学習する多タスクの自己教師ありネットワークを設計する。
• これらの埋め込みでの事前学習が、複数のデータセットでFSL設定における最先端性能を改善することを示す。

提案手法

• カバーツリーでポイントクラウドを表現し、複数のスケールで階層的なボール被覆を作成する。
• 代理ラベルを生成する： (i) 同じレベルのボール中心間距離を予測する回帰タスク、(ii) 連続レベル間の親子ボールペアに対する象限ベースの分類タスク。
• 回帰タスクと分類タスクの2つのブランチを持つ自己教師ありネットワークを訓練し、損失を共有特徴抽出器へ逆伝播させる。
• 学習済みのポイント埋め込みを用いて、分類またはセグメンテーションタスクの下流ネットワークを few-shot 設定で初期化する。
• 密denseおよび疎密な実世界データセット（ModelNet40、Sydney、ShapeNet、S3DIS）において、自己教師ありおよび教師ありのベースラインと比較して評価する。

実験結果

リサーチクエスチョン

• RQ1 カバーツリーに基づく階層的自己教師あり事前学習は、ポイントクラウドのfew-shot学習におけるサンプル効率を改善できるか？
• RQ2 多レベルの自己教師ありタスクは、グローバルなボール間とローカルなボール内の空間関係の双方を効果的に捉えるか？
• RQ3 このアプローチで学習した埋め込みは、既存の自己教師ありまたは教師ありの事前学習よりも、下流の分類およびセグメンテーションタスクへ転移するか？
• RQ4 カバーツリーの基底パラメータ（epsilon）は、性能と埋め込みのクラスタリングにどのように影響するか？

主な発見

• 提案された自己教師あり事前学習は、ModelNet40およびSydneyデータセットで、最先端の自己教師ありおよび教師あり手法よりも一貫して下流のfew-shot分類精度を改善する。
• アブレーションにより、2つの前処理タスクの組み合わせが最良の効果を生むことが示され、回帰だけでもグローバル学習による強い改善をもたらし、分類は局所的な構造情報を提供する。
• 事前学習済みの埋め込みは、ShapeNetの部品セグメンテーションとS3DISのセマンティックセグメンテーションで、ランダム初期化およびVoxelSSLと比べて有意な改善をもたらす。
• 最適な拡張定数基底 epsilon（実験での値は2.2）が、データセットを横断する最良の精度とクラスタ分離（シルエットスコア）をもたらす。
• 本手法はデータ密度とスケールの変動に対して頑健であり、疎な点群と密な点群の両方に利益をもたらす。