[論文レビュー] P2P: Tuning Pre-trained Image Models for Point Cloud Analysis with Point-to-Pixel Prompting

Ziyi Wang, Xumin Yu+3 more|arXiv (Cornell University)|Aug 4, 2022

3D Surveying and Cultural Heritage被引用数 37

ひとこと要約

凍結済みの事前学習済み2D画像モデルを3D点群タスクに活用する方法。点群を幾何学を保つ投影と幾何学的着色によってカラフルな画像へ変換し、低パラメータでの微調整と高い性能を実現する。

ABSTRACT

Nowadays, pre-training big models on large-scale datasets has become a crucial topic in deep learning. The pre-trained models with high representation ability and transferability achieve a great success and dominate many downstream tasks in natural language processing and 2D vision. However, it is non-trivial to promote such a pretraining-tuning paradigm to the 3D vision, given the limited training data that are relatively inconvenient to collect. In this paper, we provide a new perspective of leveraging pre-trained 2D knowledge in 3D domain to tackle this problem, tuning pre-trained image models with the novel Point-to-Pixel prompting for point cloud analysis at a minor parameter cost. Following the principle of prompting engineering, we transform point clouds into colorful images with geometry-preserved projection and geometry-aware coloring to adapt to pre-trained image models, whose weights are kept frozen during the end-to-end optimization of point cloud analysis tasks. We conduct extensive experiments to demonstrate that cooperating with our proposed Point-to-Pixel Prompting, better pre-trained image model will lead to consistently better performance in 3D vision. Enjoying prosperous development from image pre-training field, our method attains 89.3% accuracy on the hardest setting of ScanObjectNN, surpassing conventional point cloud models with much fewer trainable parameters. Our framework also exhibits very competitive performance on ModelNet classification and ShapeNet Part Segmentation. Code is available at https://github.com/wangzy22/P2P.

研究の動機と目的

• 2D画像の事前学習から知識を転移することによって、3D点群の事前学習におけるデータ不足に対処する。
• 凍結済みの2Dモデルと互換性のあるカラー画像へ点群を変換する prompting ベースのパイプラインを導入する。
• 幾何情報を保持しつつ、最小限の学習可能パラメータでエンドツーエンド最適化を可能にする。

提案手法

• 軽量な DGCNN によって点群の幾何をエンコードし、各点の特徴を取得する。
• 幾何を保った投影を適用して、点の特徴を空間情報を保持した画像風レイアウトへマッピングする。
• 幾何に基づく着色モジュールを用いて、投影画像を幾何に応じて着色し、事前学習済み画像モデル用のカラー画像 I を作成する。
• カラー画像を凍結済みの事前学習済み画像モデル（例：ViT、ConvNeXt）に入力して、下流ヘッド用の画像レベル特徴を抽出する。
• 分類・セグメンテーションなどタスク固有のヘッドを訓練し、2D画像ドメインで定義された損失を用い、必要に応じて結果を3Dへ投影する。

実験結果

リサーチクエスチョン

• RQ1 点群をカラー画像へ変換することで、事前学習済みの2D画像モデルを3D点群解析に効果的に使用できるか。
• RQ2 P2P フレームワークにおける事前学習済み画像モデルの規模は、3D点群分類性能にどのような影響を与えるか。
• RQ3 画像モデルを凍結するのと、選択的なパラメータのみを微調整することの、良好な3D性能達成への影響はどうなるか。
• RQ4 幾何を保った投影は、セグメンテーションなどの正確な下流タスクを支える十分な3D構造を保持するか。
• RQ5 2D の異なる事前学習戦略（教師あり vs. 無監督）は、P2P を通じて3Dタスクへどのように転移するか。

主な発見

• 同じ事前学習済み画像モデルの規模を拡大すると、P2P 下で3D分類性能が向上する。
• ImageNet-22k で事前学習した HorNet-L を用いた P2P は ScanObjectNN で 89.3% を達成し、従来の3D事前学習ベースラインを上回る。
• P2P は ModelNet40 の分類および ShapeNetPart のセグメンテーションで、はるかに少ない学習可能パラメータで競争力のある結果を出す。
• カラー画像 prompting（Point-to-Pixel）は、幾何特徴だけを用いる場合や特徴への直接パッチ埋め込みよりも効果的である。
• 教師ありの2D事前学習は一般に無監督学習より3D転移が良いが、DINOやMAE など強力な無監督手法も競合する。
• アブレーション実験は、画像モデルの正規化パラメータのみを微調整することが、2D知識を活用しつつ過剰適合を避けるうえで有利なバランスを提供することを示している。