[論文レビュー] Learning 3D Representations from 2D Pre-trained Models via Image-to-Point Masked Autoencoders

Renrui Zhang, Liuhui Wang+3 more|arXiv (Cornell University)|Dec 13, 2022

3D Shape Modeling and Analysis被引用数 7

ひとこと要約

本論文は、画像から点群へのマスク付き自己符号化を通じて2D事前学習モデルの知識を3D点群へ転送する、自己教師付き3D表現学習フレームワークI2P-MAEを提案する。2Dガイド付きマスキングおよび2Dセマンティック再構築に、マルチビュー2D特徴量とエッジマップを用いることで、微調整なしでModelNet40で93.4%の線形SVM精度を達成し、ScanObjectNNの最も困難なスプリットでは90.11%を達成。先行手法よりも+3.68%の向上を達成した。

ABSTRACT

Pre-training by numerous image data has become de-facto for robust 2D representations. In contrast, due to the expensive data acquisition and annotation, a paucity of large-scale 3D datasets severely hinders the learning for high-quality 3D features. In this paper, we propose an alternative to obtain superior 3D representations from 2D pre-trained models via Image-to-Point Masked Autoencoders, named as I2P-MAE. By self-supervised pre-training, we leverage the well learned 2D knowledge to guide 3D masked autoencoding, which reconstructs the masked point tokens with an encoder-decoder architecture. Specifically, we first utilize off-the-shelf 2D models to extract the multi-view visual features of the input point cloud, and then conduct two types of image-to-point learning schemes on top. For one, we introduce a 2D-guided masking strategy that maintains semantically important point tokens to be visible for the encoder. Compared to random masking, the network can better concentrate on significant 3D structures and recover the masked tokens from key spatial cues. For another, we enforce these visible tokens to reconstruct the corresponding multi-view 2D features after the decoder. This enables the network to effectively inherit high-level 2D semantics learned from rich image data for discriminative 3D modeling. Aided by our image-to-point pre-training, the frozen I2P-MAE, without any fine-tuning, achieves 93.4% accuracy for linear SVM on ModelNet40, competitive to the fully trained results of existing methods. By further fine-tuning on on ScanObjectNN's hardest split, I2P-MAE attains the state-of-the-art 90.11% accuracy, +3.68% to the second-best, demonstrating superior transferable capacity. Code will be available at https://github.com/ZrrSkywalker/I2P-MAE.

研究の動機と目的

• 大規模な3Dデータセットの不足が高品質な3D表現学習を妨えるという問題に対処すること。
• 大規模な3Dデータセットを必要とせずに、事前学習モデルから得られる頑健な2D視覚的特徴を活用して3D表現学習を向上させること。
• 2D画像から高レベルの意味情報を3D点群へ転送する自己教師付き3D事前学習手法を開発すること。
• マスク付き自己符号化に2Dセマンティックガイダンスを統合することで、3D表現の汎化性と転送可能性を向上させること。

提案手法

• I2P-MAEは、点群における3Dマスク付き自己符号化に特化した非対称エンコーダ・デコーダトランスフォーマアーキテクチャを用いる。
• 入力点群をマルチビューの深度マップに投影し、市販の2Dモデルから2D特徴量とエッジマップを抽出する。
• 2Dガイド付きマスキング戦略では、バックプロジェクションされた2Dエッジマップを空間的ガイダンスとして用い、意味的に重要な点トークンを保持する。
• モデルはマスクされた3D座標と可視トークンの2D特徴量の両方を再構築し、3D幾何と2Dセマンティクスの二重の監視を実現する。
• マルチビュー2D特徴量は連結によって統合され、再構築に向けた多様な意味的情報を保持する。
• このフレームワークにより、豊富な2D知識を継承しつつ、3D構造を学習する自己教師付き事前学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 大規模な3Dデータセットが存在しない状況下で、2D事前学習モデルを効果的に活用して3D表現学習を向上させることは可能か？
• RQ2 2Dセマンティック知識を3Dマスク付き自己符号化にどのように転送することで、再構築精度と特徴品質を向上させられるか？
• RQ3 ランダムマスキングと比較して、2Dガイド付きマスキングは、より重要な3D構造を効果的に保持するか？
• RQ4 2Dセマンティック再構築を同時に実行することで、3D特徴の判別力が向上するか？
• RQ5 投影されたビューの数が、画像から点群への事前学習フレームワークの性能にどのように影響するか？

主な発見

• I2P-MAEは、微調整なしでModelNet40で93.4%の線形SVM精度を達成し、先行手法の完全訓練モデルと同等の性能を示した。
• ScanObjectNNの最も困難なスプリットでは90.11%の精度を達成し、2番目に優れた手法よりも+3.68%の向上を達成した。
• 可視化およびアブレーションスタディの結果、2Dガイド付きマスキング戦略はランダムマスキングよりも意味的に重要な3D構造をより効果的に保持していることが示された。
• 3つの投影ビューを用いることで、1つまたは2つのビューと比較して、オクルージョンが減少し、3D形状の認識がより完全になるため、より良い性能が得られた。
• 再構築に向けたマルチビュー2D特徴量の連結は、平均化や最大/最小スコアの使用よりも優れた性能を示し、より豊かな意味的情報を保持した。
• ModelNet40では『Add』、ScanObjectNNでは『Concat』のプーリング戦略が、それぞれ最良の性能を達成した。