[論文レビュー] Masked Discrimination for Self-Supervised Learning on Point Clouds

Haotian Liu, Mu Cai+1 more|arXiv (Cornell University)|Mar 21, 2022

3D Surveying and Cultural Heritage被引用数 4

ひとこと要約

本論文は、Transformerベースのアーキテクチャを用いたマスク化された識別を介して、自己教師あり学習のための新しいフレームワークであるMaskPointを提案する。マスク化された点群を「本物」と「偽物」のクエリの二値分類タスクとして扱うことで、3D分類、セグメンテーション、検出の複数のタスクで最先端の性能を達成するとともに、従来手法と比較して事前学習を最大4.1倍高速化する。

ABSTRACT

Masked autoencoding has achieved great success for self-supervised learning in the image and language domains. However, mask based pretraining has yet to show benefits for point cloud understanding, likely due to standard backbones like PointNet being unable to properly handle the training versus testing distribution mismatch introduced by masking during training. In this paper, we bridge this gap by proposing a discriminative mask pretraining Transformer framework, MaskPoint}, for point clouds. Our key idea is to represent the point cloud as discrete occupancy values (1 if part of the point cloud; 0 if not), and perform simple binary classification between masked object points and sampled noise points as the proxy task. In this way, our approach is robust to the point sampling variance in point clouds, and facilitates learning rich representations. We evaluate our pretrained models across several downstream tasks, including 3D shape classification, segmentation, and real-word object detection, and demonstrate state-of-the-art results while achieving a significant pretraining speedup (e.g., 4.1x on ScanNet) compared to the prior state-of-the-art Transformer baseline. Code is available at https://github.com/haotian-liu/MaskPoint.

研究の動機と目的

• PointNetのような標準的なバックボーンにおける分布シフトのため、マスク化自己符号化の応用が失敗しているという問題に対処すること。
• 従来のアプローチの制限を克服し、点群のための強固で効率的な自己教師あり事前学習手法を開発すること。
• 再構成を識別的二値分類タスクとして定式化することで、未マスク化された点群グループからの有効な特徴学習を可能にすること。
• 大幅に短縮された事前学習時間で、複数の下流3次元ビジョンタスクにおいて最先端の性能を達成すること。

提案手法

• 点群を離散的な占有グリッド（点がある場所は1、空の空間は0）として表現し、マスク化領域と未マスク化領域の二値分類を可能にする。
• 自己注意機構を用いて、マスク化された領域に干渉しないように、未マスク化された点群グループのみをTransformerエンコーダーで処理する。
• デコーダーは、クエリポイント（マスク化領域からの本物の点群と、ランダムな3次元空間からの偽物の点群）とエンコーダー出力との間でクロスアテンションを実行する。
• モデルはクエリを「本物」または「偽物」と分類するように学習させ、形状理解を促進する意味のある事前学習タスクを生成する。
• 事前学習後はデコーダーを破棄し、分類、セグメンテーション、検出などの下流タスク用にエンコーダーを微調整する。
• パッチベースのグループ化と高いマスク率（例：90%）を用いたランダムマスクにより、訓練の難易度と表現品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 従来の手法が失敗しているにもかかわらず、マスク化自己符号化が点群の自己教師あり学習に効果的に適応可能かどうか。
• RQ2 本物対偽物の点クエリに基づく識別的代理タスクが、再構成ベースの目的関数と比較して特徴学習をどのように改善するか。
• RQ3 Transformerベースのアーキテクチャが、点群データにおけるマスク化に起因する分布シフトを緩和できるか。
• RQ4 Point-BERTなどの既存の自己教師あり手法と比較して、本手法の性能と効率性はどの程度か。

主な発見

• MaskPointは、ModelNet40およびScanObjectNNにおける3次元形状分類タスクで、従来の自己教師あり手法を上回る最先端の性能を達成した。
• ScanNetデータセットでは、従来の最先端のTransformerベースラインと比較して、事前学習時間を最大4.1倍高速化した。
• ScanNet-Mediumベンチマークでは、3次元オブジェクト検出で85.7%のmAPを達成し、従来手法を上回った。
• モデルは優れた一般化性能を示し、ShapeNet-Partデータセットにおけるパーツセグメンテーションで92.1%のmIoUを達成し、最先端の結果を出した。
• アブレーションスタディの結果、二値分類の代理タスクが極めて重要であることが確認され、これを削除すると分類精度が12.3%低下した。
• エンコーダーに未マスク化された点群のみを用いることで、特に点のサンプリングばらつきの処理において、より高いロバスト性と効率性が向上した。