[論文レビュー] Masked Autoencoders for Point Cloud Self-supervised Learning

Yatian Pang, Wenxiao Wang+4 more|arXiv (Cornell University)|Mar 13, 2022

Domain Adaptation and Few-Shot Learning被引用数 16

ひとこと要約

本論文では、標準的なトランスフォーマーベースのバックボーンを用いたマスクドオートエンコーダーを用いて、点群の自己教師あり学習フレームワークであるPoint-MAEを提案する。点群を不規則なパッチに分割し、高いマスキング比（最大90％）を適用し、マスクトークンを軽量なデコーダーに移動させることで、初期の位置情報の漏洩を防ぐ。この手法により、SOTA性能が達成され、ScanObjectNNでは85.18％、ModelNet40では94.04％の精度を記録。これは、従来の自己教師あり手法、さらには一部の教師あり手法をも上回る結果である。

ABSTRACT

As a promising scheme of self-supervised learning, masked autoencoding has significantly advanced natural language processing and computer vision. Inspired by this, we propose a neat scheme of masked autoencoders for point cloud self-supervised learning, addressing the challenges posed by point cloud's properties, including leakage of location information and uneven information density. Concretely, we divide the input point cloud into irregular point patches and randomly mask them at a high ratio. Then, a standard Transformer based autoencoder, with an asymmetric design and a shifting mask tokens operation, learns high-level latent features from unmasked point patches, aiming to reconstruct the masked point patches. Extensive experiments show that our approach is efficient during pre-training and generalizes well on various downstream tasks. Specifically, our pre-trained models achieve 85.18% accuracy on ScanObjectNN and 94.04% accuracy on ModelNet40, outperforming all the other self-supervised learning methods. We show with our scheme, a simple architecture entirely based on standard Transformers can surpass dedicated Transformer models from supervised learning. Our approach also advances state-of-the-art accuracies by 1.5%-2.3% in the few-shot object classification. Furthermore, our work inspires the feasibility of applying unified architectures from languages and images to the point cloud.

研究の動機と目的

• マスクドオートエンコーダーを用いた、シンプルで効率的かつ統一的な自己教師あり学習フレームワークの開発。
• 位置情報の漏洩や不均一なデータ密度といった点群表現学習の課題への対処。
• 自己教師あり事前学習を通じて、標準的なトランスフォーマーが点群タスクにおいて、特殊に設計された教師ありモデルを凌駕することの実現。
• 自然言語処理およびコンピュータビジョン分野で成功を収めた統一アーキテクチャを3次元点群データに適用可能かどうかの検討。

提案手法

• 入力の点群は、不均一な密度に対応し、局所的構造を保持するため、不規則で重複のない点パッチに分割される。
• ランダムまたはブロックパターンに従い、高いマスキング比（最大90％）が適用され、個々の点ではなくパッチ全体がマスキングされる。
• マスクトークンはエンコーダー入力からデコーダー入力に移動され、位置情報の漏洩を遅らせ、エンコーダーがマスクされていないパッチからのみ学習するように強制される。
• オートエンコーダーは、未マスクパッチからの高レベル特徴を抽出する標準的なトランスフォーマーエンコーダーと、マスクパッチを再構築するための軽量なデコーダーから構成される。
• モデルはマスクパッチにおける再構築損失を用いて事前学習され、下流タスクへの微調整では追加のアーキテクチャ変更なしに行われる。
• エンコーダーとデコーダー間で重みを共有する対称的設計が採用され、学習効率と一般化性能の維持が図られる。

実験結果

リサーチクエスチョン

• RQ1 標準的なトランスフォーマーベースのマスクドオートエンコーダーは、自己教師あり点群学習においてSOTA性能を達成できるか？
• RQ2 エンコーダーからデコーダーにマスクトークンを移動させることで、表現学習および一般化性能にどのような影響を与えるか？
• RQ3 最適なパフォーマンスを達成するためのマスキング戦略（ランダム対ブロック）とマスキング比は何か？
• RQ4 標準的なトランスフォーマーに基づくシンプルで統一されたアーキテクチャは、教師ありで訓練された複雑な専用モデルを凌駆できるか？

主な発見

• Point-MAEはModelNet40で94.04％の精度を達成し、すべての先行自己教師あり手法を上回り、新たなSOTAを樹立した。
• ScanObjectNNでは85.18％の精度に到達し、既存の自己教師ありアプローチに比べ顕著な改善を示した。
• 60％のランダムマスキング比で、Point-MAEはModelNet40で93.19％の微調整精度を達成し、位置情報漏洩を生じるアブレーションバージョンを上回った。
• アブレーションスタディの結果、マスクトークンをデコーダーに移動させることで位置情報の漏洩が軽減され、ベースライン比で下流タスクのパフォーマンスが1.05％向上した。
• Point-MAEは、先行手法に比べて少サンプル物体分類の精度を1.5％～2.3％向上させ、優れた一般化性能を示した。
• この手法により、シンプルで標準的なトランスフォーマーベースのアーキテクチャが、特殊に設計された教師ありモデルを上回ることの可能性が示された。これは、自己教師あり事前学習の強力さを強調している。