[論文レビュー] 3D Point Cloud Pre-training with Knowledge Distillation from 2D Images

Yuan Yao, Yuanhan Zhang+4 more|arXiv (Cornell University)|Dec 17, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

本論文は、2次元視覚モデル（特にCLIP）から3次元ポイントクラウド変換器へと意味的知識を転送する知識蒸留フレームワークを提案する。この手法は、クロスアテンションを用いて概念特徴を一致させることで、2次元の特徴と3次元の特徴を対応付ける。この方法により、オブジェクト検出や意味的セグメンテーションなどの下流3次元タスクで最先端の性能を達成し、3次元事前学習データが限られているにもかかわらず、大規模な2次元データを活用することで、既存の事前学習手法を上回る性能を発揮する。

ABSTRACT

The recent success of pre-trained 2D vision models is mostly attributable to learning from large-scale datasets. However, compared with 2D image datasets, the current pre-training data of 3D point cloud is limited. To overcome this limitation, we propose a knowledge distillation method for 3D point cloud pre-trained models to acquire knowledge directly from the 2D representation learning model, particularly the image encoder of CLIP, through concept alignment. Specifically, we introduce a cross-attention mechanism to extract concept features from 3D point cloud and compare them with the semantic information from 2D images. In this scheme, the point cloud pre-trained models learn directly from rich information contained in 2D teacher models. Extensive experiments demonstrate that the proposed knowledge distillation scheme achieves higher accuracy than the state-of-the-art 3D pre-training methods for synthetic and real-world datasets on downstream tasks, including object classification, object detection, semantic segmentation, and part segmentation.

研究の動機と目的

• 2次元画像データセットに比べて規模が限定的な3次元ポイントクラウド事前学習データセットの課題に対処する。
• 知識蒸留における2次元画像と3次元ポイントクラウドのドメインギャップを克服する。
• CLIPのような大規模2次元モデルが持つ豊富な意味的表現を3次元ポイントクラウドバックボーンが活用できるようにする。
• 2次元画像の意味特徴と3次元ポイントクラウドの構造的コンセプト特徴を結ぶ概念一致メカニズムを開発する。
• 複数の下流タスクにわたり、実世界および合成された3次元ベンチマークで、蒸留ベースの事前学習の有効性を実証する。

提案手法

• ビジョントランスフォーマーにおけるトークン化に類似した、3次元ポイントクラウドから概念トークンを抽出するためのクロスアテンション機構を導入する。
• CLIPの画像エンコーダーを用いて、教師信号として2次元画像から意味的プレフィックス埋め込みを抽出する。
• 共通の埋め込み空間内でコントラスト学習を用いて、2次元画像の意味特徴と3次元ポイントクラウドの概念特徴を一致させる。
• 2次元の意味と3次元の概念の間のコントラスト的一致に基づいた知識蒸留損失を用いて、3次元バックボーンを訓練する。
• 2次元意味符号化（CLIPキャプションを使用）のための1本目と、クロスアテンションによる3次元概念抽出のためのもう1本のブランチを持つデュアルブランチアーキテクチャを設計する。
• 再構成損失を含めない評価を行い、蒸留のみで強力な3次元表現学習が可能であることを示している。

実験結果

リサーチクエスチョン

• RQ1 大規模2次元視覚モデルから知識を蒸留することで、3次元ポイントクラウドモデルがより優れた事前学習性能を達成できるか？
• RQ2 知識蒸留の過程で、2次元画像と3次元ポイントクラウドの間のドメインギャップを効果的に埋め合わせられるか？
• RQ3 2次元の意味と3次元特徴の間で概念レベルの一致を図ることで、直接的な特徴マッチングよりも優れた下流性能が得られるか？
• RQ4 2次元モデルからの知識蒸留において、再構成ベースの事前学習は必要か？
• RQ5 2次元モデルからの蒸留が、実世界データセットにおいて既存の自己教師付き3次元事前学習手法を上回ることができるか？

主な発見

• ScanNetV2データセットにおいて、本手法はオブジェクト検出で63.4 mAP25を達成し、Point-MAEを1.7ポイント上回った。
• ScanNetV2における意味的セグメンテーションでは、46.4 mIOUに達し、Point-MAEよりも1.0ポイントの改善を示した。
• アブレーションスタディにより、概念抽出モジュールを削除すると精度が0.29ポイント低下することが確認され、その必要性が裏付けられた。
• 再構成損失を除いて訓練した場合、250エポック後に再構成損失が5.63e-3にまで低下し、蒸留のみで強力な3次元特徴学習が可能であることが示された。
• 蒸留パイプラインに再構成ヘッドを追加すると性能が低下したため、再構成損失が最適化を誤魔化し、一般化を制限する可能性があることが示された。
• ModelNet40では、再構成損失を一切使用しない状態で、蒸留のみの損失を使用しても92.71%の精度を達成し、再構成のみまたは蒸留のみのベースラインを上回った。