[論文レビュー] Masked Autoencoders in 3D Point Cloud Representation Learning

Jincen Jiang, Xuequan Lu+3 more|arXiv (Cornell University)|Jul 4, 2022

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

本稿では、点群をパッチに分割し、一部をマスクして、マルチタスク損失を用いて欠損部分を再構築するパッチ単位の Transformer を用いる、自己教師付き 3D ポイントクラウド表現学習のための新しいマスク付きオートエンコーダー枠組み MAE3D を提案する。ModelNet40 では 93.4%、ScanObjectNN (PB_T50_RS) では 86.2% の最先端性能を達成しており、わずか 1.8M パラメータの軽量バックボーンを用いても、先行手法を上回る性能を発揮する。

ABSTRACT

Transformer-based Self-supervised Representation Learning methods learn generic features from unlabeled datasets for providing useful network initialization parameters for downstream tasks. Recently, self-supervised learning based upon masking local surface patches for 3D point cloud data has been under-explored. In this paper, we propose masked Autoencoders in 3D point cloud representation learning (abbreviated as MAE3D), a novel autoencoding paradigm for self-supervised learning. We first split the input point cloud into patches and mask a portion of them, then use our Patch Embedding Module to extract the features of unmasked patches. Secondly, we employ patch-wise MAE3D Transformers to learn both local features of point cloud patches and high-level contextual relationships between patches and complete the latent representations of masked patches. We use our Point Cloud Reconstruction Module with multi-task loss to complete the incomplete point cloud as a result. We conduct self-supervised pre-training on ShapeNet55 with the point cloud completion pre-text task and fine-tune the pre-trained model on ModelNet40 and ScanObjectNN (PB\_T50\_RS, the hardest variant). Comprehensive experiments demonstrate that the local features extracted by our MAE3D from point cloud patches are beneficial for downstream classification tasks, soundly outperforming state-of-the-art methods ($93.4\%$ and $86.2\%$ classification accuracy, respectively).

研究の動機と目的

• 画像やテキストとは異なり規則的な構造を持たない不規則な 3D ポイントクラウドに、マスク付きオートエンコーダーの事前学習を適用する課題に対処すること。
• 複雑なトークナイザーもしくは重いエンコーダーを回避する汎用的で軽量な自己教師付きフレームワークの開発。
• パッチ単位の Transformer を用いて、局所的パッチ特徴とグローバルな文脈的関係を同時に捉えることで、ポイントクラウド表現学習の向上。
• 微調整段階で別個の大型 Transformer エンコーダーを必要とせず、バックボーンネットワークのみを用いても強力な下流性能を実現すること。
• マスクされた再構築による事前学習が、3D 分類タスクにおける特徴の判別性および一般化性能を向上させることの実証。

提案手法

• 入力のポイントクラウドが空間的パッチに分割され、その一部がランダムにマスクされる。これは BERT のマスク言語モデリングに類似している。
• パッチ埋め込みモジュールが、軽量バックボーン（例：PointNet や DGCNN）を用いてマスクされていないパッチからの特徴を抽出する。
• パッチ単位の Transformer エンコーダーが、可視パッチを処理し、局所的な幾何的特徴とパッチ間の高レベルな文脈的関係を学習する。
• ポイントクラウド再構築モジュールが、マルチタスク損失を用いて、潜在表現からマスクされたパッチの座標を予測・再構築する。
• モデルは、ポイントクラウド補完の事前テキストタスクを用いて ShapeNet55 で事前学習され、その後、下流の分類ベンチマークで微調整される。
• 推論時、再構築用の重いデコーダーや補助的な Transformer エンコーダーを必要とせず、事前学習済みバックボーンのみが特徴抽出に使用される。

実験結果

リサーチクエスチョン

• RQ1 規則的なグリッド構造を持たない不規則な 3D ポイントクラウドデータに、マスク付きオートエンコーダー枠組みを効果的に適応できるか？
• RQ2 マスクされたポイントクラウドパッチの再構築を学習することで、下流の 3D 分類タスクにおける表現の質が向上するか？
• RQ3 最小限のパrameter（1.8M）で動作する軽量バックボーンが、追加の Transformer エンコーダーに依存するより重いモデルを上回れるか？
• RQ4 微調整段階で複雑なエンコーダーが存在しないことで、より頑健で一般化性の高い特徴が得られるか？
• RQ5 潜在表現学習のための専用の MAE3D Transformer の導入が、最終的な分類精度にどのように影響するか？

主な発見

• MAE3D は ModelNet40 で 93.4% の分類精度を達成し、最先端手法を上回った。
• ノイズやオブジェクトの変動に強いとされる挑戦的な ScanObjectNN (PB_T50_RS) ベンチマークでは、86.2% の精度を達成し、強力なロバスト性を示した。
• 事前学習段階で MAE3D Transformer を含めることで、それなしのバージョンと比較して精度が 1% 向上した。これは、特徴学習に与える貢献を確認するものである。
• わずか 1.8M パラメータで運用されるにもかかわらず、22.0M パラメータの Transformer エンコーダーを必要とする Point-MAE でさえ、両者ともエンコーダーなしで微調整した場合に上回った。
• DGCNN をバックボーンとして用いた場合、MAE3D は ModelNet40 で 93.4% の精度を達成し、追加の Transformer エンコーダーを用いる Point-MAE（93.1%）を上回った。
• t-SNE 視覚化により、MAE3D は事前学習段階からも、学習を開始した場合と比較してより分離性が高く判別性の高い特徴を学習していることが確認され、微調整後にさらに向上した。