[論文レビュー] Unsupervised Representation Learning for 3D Point Cloud Data.

Jincen Jiang, Xuequan Lu+2 more|arXiv (Cornell University)|Oct 13, 2021

3D Shape Modeling and Analysis参考文献 53被引用数 8

ひとこと要約

本稿では、幾何変換を用いて陽性ペairを生成することで、3次元点群のための単純かつ効果的な非教師あり対照的表現学習手法を提案する。共有エンコーダーおよびヘッドネットワークを用い、対照的損失を用いて表現の一貫性を最大化する。この手法は、ModelNet40 や S3DIS などのベンチマークで、教師あり手法と同等またはそれを上回る最先端の性能を達成した。

ABSTRACT

Though a number of point cloud learning methods have been proposed to handle unordered points, most of them are supervised and require labels for training. By contrast, unsupervised learning of point cloud data has received much less attention to date. In this paper, we propose a simple yet effective approach for unsupervised point cloud learning. In particular, we identify a very useful transformation which generates a good contrastive version of an original point cloud. They make up a pair. After going through a shared encoder and a shared head network, the consistency between the output representations are maximized with introducing two variants of contrastive losses to respectively facilitate downstream classification and segmentation. To demonstrate the efficacy of our method, we conduct experiments on three downstream tasks which are 3D object classification (on ModelNet40 and ModelNet10), shape part segmentation (on ShapeNet Part dataset) as well as scene segmentation (on S3DIS). Comprehensive results show that our unsupervised contrastive representation learning enables impressive outcomes in object classification and semantic segmentation. It generally outperforms current unsupervised methods, and even achieves comparable performance to supervised methods. Our source codes will be made publicly available.

研究の動機と目的

• 3次元点群データのための非教師あり表現学習手法の不足に対処すること。
• ラベル付きデータを必要としない自己教師ありアプローチを構築すること。
• ラベルなしデータのみを用いて、3次元分類およびセグメンテーションの下流タスク性能を向上させること。
• 対照的学習に適した意味のある陽性ペアを生成する有効なデータ拡張戦略を検討すること。

提案手法

• 元の点群に幾何変換を適用し、対照的学習用の陽性ペアを生成する。
• 共有エンコーダーネットワークを用いて、元の点群と変換済み点群の両方を処理し、共通の表現を生成する。
• 共有ヘッドネットワークを用いて、両ビューの符号化特徴量から最終的な埋め込み表現を生成する。
• 2種類の対照的損失を導入：分類タスク用とセグメンテーションタスク用。
• 陽性ペアの表現間の一貫性を最大化することで、頑健な特徴を学習する。
• アノテーションを一切必要とせず、エンドツーエンドに非教師ありで学習を行う。

実験結果

リサーチクエスチョン

• RQ1 単純なデータ拡張戦略が、非教師あり3次元点群表現学習に適した有効な陽性ペアを生成できるか？
• RQ2 教師あり手法と比較して、非教師あり対照的学習は3次元物体分類タスクでどの程度の性能を示すか？
• RQ3 提案手法は3次元セマンティックセグメンテーションタスクにどの程度一般化可能か？
• RQ4 学習された表現は、下流タスクにおいて教師あり事前学習と同等の性能を達成できるか？

主な発見

• 提案手法は、非教師あり設定下で ModelNet40 および ModelNet10 ベンチマークにおいて、3次元物体分類で最先端の性能を達成した。
• ShapeNet Part データセットを用いた形状部品セグメンテーションにおいて、既存の非教師あり手法を上回った。
• シーンセグメンテーションにおいても競争力ある結果を達成し、S3DIS データセットで教師あり手法と同等の性能を示した。
• 幾何的データ拡張を用いた対照的学習により、ラベルなしでも特徴表現の質が著しく向上した。
• 分類およびセグメンテーションを含む多様な3次元学習タスクに、良好な一般化性能を示した。
• 再現性および今後の研究を支援するため、ソースコードを公開する予定である。