[論文レビュー] Point-M2AE: Multi-scale Masked Autoencoders for Hierarchical Point Cloud Pre-training

Renrui Zhang, Z. J. Guo+6 more|arXiv (Cornell University)|May 28, 2022

Advanced Neural Network Applications被引用数 117

ひとこと要約

Point-M2AE は階層的でマルチスケールのマスクドオートエンコーダを導入し、3D点群の自己監督プリトレーニングを行い、fine-tuning 時には skip connections とローカルアテンションを備えた U-Net 的トランスフォーマーを使用してマルチスケールの幾何表現を学習し、最先端の転移性能を達成する。

ABSTRACT

Masked Autoencoders (MAE) have shown great potentials in self-supervised pre-training for language and 2D image transformers. However, it still remains an open question on how to exploit masked autoencoding for learning 3D representations of irregular point clouds. In this paper, we propose Point-M2AE, a strong Multi-scale MAE pre-training framework for hierarchical self-supervised learning of 3D point clouds. Unlike the standard transformer in MAE, we modify the encoder and decoder into pyramid architectures to progressively model spatial geometries and capture both fine-grained and high-level semantics of 3D shapes. For the encoder that downsamples point tokens by stages, we design a multi-scale masking strategy to generate consistent visible regions across scales, and adopt a local spatial self-attention mechanism during fine-tuning to focus on neighboring patterns. By multi-scale token propagation, the lightweight decoder gradually upsamples point tokens with complementary skip connections from the encoder, which further promotes the reconstruction from a global-to-local perspective. Extensive experiments demonstrate the state-of-the-art performance of Point-M2AE for 3D representation learning. With a frozen encoder after pre-training, Point-M2AE achieves 92.9% accuracy for linear SVM on ModelNet40, even surpassing some fully trained methods. By fine-tuning on downstream tasks, Point-M2AE achieves 86.43% accuracy on ScanObjectNN, +3.36% to the second-best, and largely benefits the few-shot classification, part segmentation and 3D object detection with the hierarchical pre-training scheme. Code is available at https://github.com/ZrrSkywalker/Point-M2AE.

研究の動機と目的

• ラベルなしの点群からのマスクドオートエンコーディングを通じた堅牢な3D表現の学習を動機づける。
• 不規則な3Dデータに適した階層的（マルチステージ）エンコーダ-デコーダアーキテクチャを開発する。
• スケール間で可視領域の一貫性を確保するマルチスケール masking 戦略を提案する。
• ローカルからグローバルな幾何を捉えるために skip 連結と局所空間アテンションを組み込む。
• 多様な3Dタスクにおいて最先端の転移学習性能を示す。

提案手法

• 点群を S スケールにわたるマルチスケールのポイントトークンとして表現する。
• 最終スケールを高比率でマスクし、可視位置を前のスケールへ逆投影するマルチスケール masking 戦略を適用する。
• 段階間でトークンマージを行う階層的なマルチステージエンコーダを用いてマルチスケール特徴を符号化する。
• エンコーダ特徴からマスクされた座標を再構成するために、skip 連結を備えた軽量な階層型デコーダを接続する。
• Chamfer 距離を用いた再構成損失で、2nd スケールから 1st スケールへマスク座標を回復する（コントラスト損失なし）。
• 微調整時にはエンコーダの自己注意を、スケールごとに半径を拡大させた局所空間注意に置換して局所構造を強調する。

実験結果

リサーチクエスチョン

• RQ1 マスクドオートエンコーディングは、マルチスケールかつ階層的MAEを通じて不規則な3D点群へ効果的に適用できるか？
• RQ2 マルチスケールのマスクとスキップ接続は、下流タスクへ良く転移する局所からグローバルへの3D表現の学習を可能にするか？
• RQ3 微調整時の局所アテンションは下流の3Dタスクの性能にどう影響するか？
• RQ4 階層型エンコーダ/デコーダ設計が事前学習の効率と下流精度に与える影響は？
• RQ5 学習した表現は標準的な3Dベンチマークで完全監視ベースを上回ることができるか？

主な発見

• 凍結されたエンコーダでModelNet40の線形評価で最先端を達成（92.9% accuracy、2位を1.2%上回る）。
• 下流タスクの微調整でScanObjectNN 86.43%（トップ結果、2位より+3.36%）。
• 微調整後、1k点でModelNet40 94.0%の精度を得る（比較手法は93.2–93.8%）。
• ShapeNetPart分割と少数ショット分類でPoint-BERTおよび他のMAEベース手法を上回る。
• 階層的事前学習を用いてScanNetV2の3D物体検出をAP25で+1.3%、AP50で+1.3%向上。
• アブレーション分析は、多尺度 masking、階層的アーキテクチャ、スキップ接続の性能向上の重要性を確認する。