[論文レビュー] Point2Vec for Self-Supervised Representation Learning on Point Clouds

Karim Abou Zeid, Jonas Schult+2 more|arXiv (Cornell University)|Mar 29, 2023

3D Shape Modeling and Analysis被引用数 8

ひとこと要約

Point2Vec は data2vec を3D点群へ拡張し、学生ネットワークからマスクされた埋め込みを除去することで位置情報の漏えいを防ぎ、形状分類と few-shot タスクに対して強力な自己-supervised 表現を示す。

ABSTRACT

Recently, the self-supervised learning framework data2vec has shown inspiring performance for various modalities using a masked student-teacher approach. However, it remains open whether such a framework generalizes to the unique challenges of 3D point clouds. To answer this question, we extend data2vec to the point cloud domain and report encouraging results on several downstream tasks. In an in-depth analysis, we discover that the leakage of positional information reveals the overall object shape to the student even under heavy masking and thus hampers data2vec to learn strong representations for point clouds. We address this 3D-specific shortcoming by proposing point2vec, which unleashes the full potential of data2vec-like pre-training on point clouds. Our experiments show that point2vec outperforms other self-supervised methods on shape classification and few-shot learning on ModelNet40 and ScanObjectNN, while achieving competitive results on part segmentation on ShapeNetParts. These results suggest that the learned representations are strong and transferable, highlighting point2vec as a promising direction for self-supervised learning of point cloud representations.

研究の動機と目的

• 3D点群の広範なアノテーションを必要とせず、自己教師付き表現学習を動機づける。
• 位置情報漏えいのため data2vec を点群に直接適用する際の制約を調査する。
• leakage を防ぎ前学習効果を高める点群特化の適応（point2vec）を開発する。
• 転用性と few-shot 性能を評価するため、標準ベンチマーク（ModelNet40、ScanObjectNN、ShapeNetPart）で point2vec を評価する。

提案手法

• 点パッチ用の Transformer エンコーダを用いた data2vec ライクな教師-生徒フレームワークを採用する。
• FPS サンプリングと k-NN グルーピングによって点群をパッチとして表現し、各パッチをミニ PointNet で埋め込む。
• マスクされた埋め込みを生徒入力から除外し、生徒出力から教師ターゲットを回帰する浅いデコーダを導入する。
• 教師ターゲットを生成するためにモメンタム教師（EMA）を維持し、直近のK段のトランスフォーマーブロックの平均で得る。
• パッチ正規化にもかかわらず3Dの位置情報コンテキストを保持するよう、各 Transformer ステージで点位置エンベディングを組み込む。

実験結果

リサーチクエスチョン

• RQ1 データ2vec風の事前学習を位置情報の漏えいを防ぎつつ3D点群に効果的に転送できるか？
• RQ2 マスキング戦略とデコーダ設計は学習された点群表現の品質に影響を与えるか？
• RQ3 Point2Vec 表現はModelNet40、ScanObjectNN、ShapeNetPart で他の自己教師付き手法と比較してどうか？
• RQ4 学習表現は few-shot 学習やセグメンテーションのような下流タスクへ転用可能か？

主な発見

• Point2Vec は点群の形状分類と few-shot 学習で他の自己教師付き手法を上回る。
• Point2Vec は ModelNet40 で最先端の few-shot 結果を達成し、ShapeNetParts で競争力のあるセグメンテーション性能を示す。
• 重要な洞察は、生徒側の位置情報をマスクして（Mトークンなし）学習を改善し、物体形状情報の漏えいを防ぐことにある。
• Point2Vec は data2vec–pc よりも転送性能が強く、特に現実世界データの ScanObjectNN において優れている。
• ShapeNet での事前学習が下流タスクの強力な性能には不可欠である。
• 遅延浅いデコーダと位置情報マスキングの併用は頑健な表現と効率向上をもたらす。