[論文レビュー] CrossPoint: Self-Supervised Cross-Modal Contrastive Learning for 3D Point Cloud Understanding

Mohamed Afham, Isuru Dissanayake+4 more|arXiv (Cornell University)|Mar 1, 2022

3D Surveying and Cultural Heritage被引用数 21

ひとこと要約

CrossPoint は自己教師付きクロスモーダル対比学習を通じて 3D–2D 対応を強制し、ラベルなしで下流の 3D 分類とセグメンテーションを改善する転送可能な3D点群表現を学習する。

ABSTRACT

Manual annotation of large-scale point cloud dataset for varying tasks such as 3D object classification, segmentation and detection is often laborious owing to the irregular structure of point clouds. Self-supervised learning, which operates without any human labeling, is a promising approach to address this issue. We observe in the real world that humans are capable of mapping the visual concepts learnt from 2D images to understand the 3D world. Encouraged by this insight, we propose CrossPoint, a simple cross-modal contrastive learning approach to learn transferable 3D point cloud representations. It enables a 3D-2D correspondence of objects by maximizing agreement between point clouds and the corresponding rendered 2D image in the invariant space, while encouraging invariance to transformations in the point cloud modality. Our joint training objective combines the feature correspondences within and across modalities, thus ensembles a rich learning signal from both 3D point cloud and 2D image modalities in a self-supervised fashion. Experimental results show that our approach outperforms the previous unsupervised learning methods on a diverse range of downstream tasks including 3D object classification and segmentation. Further, the ablation studies validate the potency of our approach for a better point cloud understanding. Code and pretrained models are available at http://github.com/MohamedAfham/CrossPoint.

研究の動機と目的

• 分類、セグメンテーション、検出に適用可能なラベルフリーの3D点群表現の必要性に対処する。
• レンダリングされた2Dビューから3D点群へ知識を転送するためにクロスモーダルの3D–2D対応を活用する。
• メモリーバンクを用いずに、ジョイントな intra-modal および cross-modal 対比学習フレームワーク（IMIDとCMID）を提案する。
• 合成データと実世界データセット、およびバックボーンアーキテクチャ全体での一般化を示す。

提案手法

• ポイントクラウドのバックボーン（PointNet または DGCNN）と画像バックボーン（ResNet）を備えた二分岐アーキテクチャと射影ヘッド。
• Intra-Modal Instance Discrimination (IMID): 増強ビューに対して NT-Xent 対比損失を用い、ランダムな3D点群変換に対する不変性を強制する。
• Cross-Modal Instance Discrimination (CMID): ポイントクラウドのプロトタイプをレンダリングされた2D画像特徴と共有不変空間で整列させ、クロスモーダル学習の難易度の高いポジティブを生成する。
• 総合損失 L = L_IMID + L_CMID、メモリーバンクなしでエンドツーエンドに訓練し、下流タスクのために事前学習後は画像ブランチを破棄する。
• 事前学習はレンダリング画像を用いたShapeNetを使用; 下流タスクは点群バックボーンのみを使用。
• 合成データと実世界データセットを横断した3D物体分類、Few-shot学習、パーツセグメンテーションの評価。

実験結果

リサーチクエスチョン

• RQ1 3D–2Dクロスモーダル整列は下流タスクのための教師なし点群表現を改善するのか？
• RQ2 intra-modal と cross-modal 対比目的を組み合わせることは、いずれか単独の目的を使用する場合とどう比較されるのか？
• RQ3 学習済み表現は、合成データと実世界データの両方および複数のバックボーン（PointNet、DGCNN）に転送されるのか？
• RQ4 このアプローチはFew-shotおよびパーツセグメンテーションのシナリオにも利点を提供し、画像とのクロスモーダル理解と関連づけることができるのか？

主な発見

• CrossPoint は ModelNet40 に対して PointNet と DGCNN の両バックボーンで線形評価で従来の教師なし手法を上回る。
• ScanObjectNN では、PointNet および DGCNN バックボーン全体で prior 手法より高い線形精度を達成。
• ジョイント IMID + CMID 学習目的は ModelNet40 と ScanObjectNN で、いずれか単独の目的より一貫した改善をもたらす（例：報告されたバックボーンで +1.2% および +0.7%）。
• CrossPoint 事前学習済みバックボーンは 3D パーツセグメンテーションに意味のある初期化を提供し、平均 IoU は 85.5% 対して一部の従来自己教師ありベースラインは 85.3%。
• CIFAR-FS の few-shot 画像分類では、CrossPoint 初期化済みの ResNet-50 を RFS でファインチューニングすると、ベースラインを顕著な差で上回る（例：5-way 1-shot および 5-shot 設定）。
• この手法はバックボーンを問わず堅牢性を維持し、分布外の実世界データ（ScanObjectNN）への良好な一般化を示す。