[論文レビュー] CLIP2Scene: Towards Label-efficient 3D Scene Understanding by CLIP

Runnan Chen, Youquan Liu+7 more|arXiv (Cornell University)|Jan 12, 2023

3D Surveying and Cultural Heritage被引用数 4

ひとこと要約

CLIP2Scene は、意味的駆動型クロスモーダル対照学習を用いて、CLIP の視覚言語事前学習知識を 3D ポイントクラウド分類に転送する画期的なフレームワークである。CLIP のテキスト意味を正例／負例サンプル選択に活用し、画像とポイントクラウド特徴量間の空間的・時間的整合性を強制することで、nuScenes および ScanNet におけるアノテーションフリーおよび少サンプル 3D 項目分類で最先端の性能を達成した。特に、ラベルなしで 25.08% の mIoU を達成した。

ABSTRACT

Contrastive Language-Image Pre-training (CLIP) achieves promising results in 2D zero-shot and few-shot learning. Despite the impressive performance in 2D, applying CLIP to help the learning in 3D scene understanding has yet to be explored. In this paper, we make the first attempt to investigate how CLIP knowledge benefits 3D scene understanding. We propose CLIP2Scene, a simple yet effective framework that transfers CLIP knowledge from 2D image-text pre-trained models to a 3D point cloud network. We show that the pre-trained 3D network yields impressive performance on various downstream tasks, i.e., annotation-free and fine-tuning with labelled data for semantic segmentation. Specifically, built upon CLIP, we design a Semantic-driven Cross-modal Contrastive Learning framework that pre-trains a 3D network via semantic and spatial-temporal consistency regularization. For the former, we first leverage CLIP's text semantics to select the positive and negative point samples and then employ the contrastive loss to train the 3D network. In terms of the latter, we force the consistency between the temporally coherent point cloud features and their corresponding image features. We conduct experiments on SemanticKITTI, nuScenes, and ScanNet. For the first time, our pre-trained network achieves annotation-free 3D semantic segmentation with 20.8% and 25.08% mIoU on nuScenes and ScanNet, respectively. When fine-tuned with 1% or 100% labelled data, our method significantly outperforms other self-supervised methods, with improvements of 8% and 1% mIoU, respectively. Furthermore, we demonstrate the generalizability for handling cross-domain datasets. Code is publicly available https://github.com/runnanchen/CLIP2Scene.

研究の動機と目的

• CLIP の事前学習済み視覚言語知識が、3D パノラマ理解にどのように寄与できるかを調査すること。特に、高価な 3D アノテーションへの依存を低減することを目的とする。
• ポイントクラウドのサンプリングに起因する意味の曖昧さにより、誤って定義された負例ペアが生じる、クロスモーダル自己教師付き学習における最適化の矛盾問題を解決すること。
• マルチスイープ LiDAR データに内在する時間的整合性を活用し、時間的に整合するポイントクラウド特徴量と対応する画像グリッド特徴量の間で特徴量の一貫性を強制することで、特徴表現のロバスト性を向上させること。
• 任意のアノテート済みトレーニングデータを必要とせずに、効果的な少サンプルおよびゼロショット 3D 項目分類を可能にすること。
• 1 つのデータセットで事前学習し、別のデータセットで微調整することで、ドメイン間の一般化を実証すること。たとえば、nuScenes で事前学習し、SemanticKITTI で微調整する。

提案手法

• 意味的駆動型クロスモーダル対照学習フレームワークを提案。CLIP のテキスト埋め込みを用いて正例／負例となるポイントサンプルの選択をガイドすることで、対照学習における最適化の矛盾を低減する。
• 意味的整合性正則化を導入。CLIP のテキスト埋め込みを用いて意味的に一貫したポイントペアを定義し、対照損失に組み込むことで、表現品質を向上させる。
• 空間的・時間的整合性正則化を実装。不完全なキャリブレーション下でも、時間的に整合するポイントクラウド特徴量と対応する画像グリッド特徴量間の特徴量一貫性を強制する。
• ピクセルからポイントへのマッピングを緩和し、グリッドからグリッドへの対応関係に置き換えることで、キャリブレーション誤差に強く、クロスモーダルアライメントのロバスト性を向上させる。
• トレーニング中に画像特徴量とポイントクラウド特徴量の間で切り替え可能な監督メカニズムを採用し、誤差の伝搬を低減し、一般化性能を向上させる。
• 手動で作成したプロンプトからクラス埋め込みを生成できるように、CLIP のテキストエンコーダーを変更し、微調整なしでゼロショット推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 CLIP の事前学習済み視覚言語表現は、3D ポイントクラウドの項目分類を向上させるために、3D アノテーションを一切使用せずに効果的に転送可能か？
• RQ2 CLIP のテキスト意味を、画像とポイントクラウド間のクロスモーダル対照学習における最適化の矛盾を低減するためにどのように活用できるか？
• RQ3 マルチスイープ LiDAR データに時間的整合性を組み込むことで、CLIP 特徴量と組み合わせた場合、3D 表現学習にどの程度の向上が見られるか？
• RQ4 提案手法は、ドメインに特化した微調整なしに、nuScenes で事前学習し SemanticKITTI で評価するなど、ドメイン間で一般化可能か？
• RQ5 1% のラベル付きデータでのみ学習するようなラベル効率の悪い学習状況において、提案手法は既存の自己教師付き手法と比較してどの程度優れているか？

主な発見

• CLIP2Scene は、ScanNet でラベルなしの 3D 項目分類において 25.08% の mIoU、nuScenes では 20.8% の mIoU を達成し、CLIP を用いたゼロショット 3D 分類の成功事例として初めての実現を示した。
• nuScenes で 1% のラベル付きデータでの微調整を実施した場合、最先端手法 SLidR よりも mIoU を 8.1% 向上させ、優れた少サンプル一般化性能を示した。
• 100% のラベル付きデータを用いた完全教師あり設定でも、CLIP2Scene は SLidR よりも mIoU を 1.1% 向上させ、一貫した性能向上を示した。
• ドメイン間一般化が実現可能である。nuScenes で事前学習し、SemanticKITTI で微調整した場合、最先端の自己教師付き手法よりも優れた性能を発揮した。
• アブレーションスタディの結果、意味的整合性正則化と空間的・時間的正則化の両方が不可欠であり、それぞれが最終的な性能に顕著な寄与をしていることが確認された。
• スイッチ可能な監督メカニズムにより、誤差の伝搬が低減され、特徴学習が向上することが、全評価プロトコルにおいて性能向上として裏付けられた。