[論文レビュー] 3D Feature Prediction for Masked-AutoEncoder-Based Point Cloud Pretraining

Siming Yan, Yuqi Yang+6 more|arXiv (Cornell University)|Apr 14, 2023

3D Shape Modeling and Analysis被引用数 5

ひとこと要約

本稿では、点群の位置を再構築するのではなく、マスクされた点における内在的な幾何的特徴—表面法線と表面変動—を予測する、3次元点群の自己教師あり事前学習のための新規なマスク付き自己符号化フレームワークを提案する。クエリおよびクロスアテンションに基づくデコーダーをエンコーダーとは独立して設計したことで、分類および部品セグメンテーションタスクで最先端の性能を達成し、位置回復よりも特徴再構築が有効であることを示した。

ABSTRACT

Masked autoencoders (MAE) have recently been introduced to 3D self-supervised pretraining for point clouds due to their great success in NLP and computer vision. Unlike MAEs used in the image domain, where the pretext task is to restore features at the masked pixels, such as colors, the existing 3D MAE works reconstruct the missing geometry only, i.e, the location of the masked points. In contrast to previous studies, we advocate that point location recovery is inessential and restoring intrinsic point features is much superior. To this end, we propose to ignore point position reconstruction and recover high-order features at masked points including surface normals and surface variations, through a novel attention-based decoder which is independent of the encoder design. We validate the effectiveness of our pretext task and decoder design using different encoder structures for 3D training and demonstrate the advantages of our pretrained networks on various point cloud analysis tasks.

研究の動機と目的

• 既存の3次元マスク付き自己符号化器が、マスクされた点の位置の再構築を優先するのに対し、内在的な幾何的特徴の再構築を重視しないという制限を是正すること。
• 幾何的再構築から高次特徴予測へと事前学習タスクを移行させることで、3次元自己教師あり表現学習を向上させること。
• エンコーダーとは独立したデコーダー・アーキテクチャを設計し、位置情報の漏洩を防ぎながら強固な特徴回復を可能にすること。
• 異なる3次元バックボーンネットワークと下流タスクにわたる内在的特徴予測の有効性を検証すること。

提案手法

• 本手法は、マスクされた点における点群の位置再構築を、表面法線と表面変動の予測に置き換えることで、事前学習のための事前タスクを定義する。
• マスクされた点をクエリとして用い、クロスアテンションと自己アテンションを適用することで、エンコーダー出力から特徴を生成するアテンションベースのデコーダーを導入する。
• エンコーダーとは分離されたデコーダー設計により、スパース畳み込みニューラルネットワーク（CNN）、ポイントベースネットワーク、トランスフォーマーなど、さまざまな3次元バックボーンアーキテクチャと互換性を持つ。
• デコーダーはクロスアテンションによりエンコーダー出力に注目し、自己アテンションによりマスクされた点間で文脈を伝搬することで、一貫性のある特徴生成を実現する。
• エンドツーエンドで学習されるモデルは、予測特徴に対する再構築損失を用い、最適なタスク難易度と情報保持のバランスを実現するため、マスキング比60%を採用する。
• 回転と均一スケーリングによるデータ拡張を適用し、表面法線や変動といった幾何的性質が保たれるように注意深く処理する。

実験結果

リサーチクエスチョン

• RQ1 3次元マスク付き自己符号化の点群事前学習において、点群の位置を再構築することが、最も効果的な事前タスクであるか？
• RQ2 表面法線や表面変動といった高次幾何的特徴を予測することは、位置再構築よりも優れた表現学習をもたらすか？
• RQ3 エンコーダーとは独立したデコーダー・アーキテクチャは、さまざまな3次元バックボーンにおける汎化性と性能向上を改善するか？
• RQ4 表面法線、表面変動、色などの内在的特徴の異なる組み合わせが、下流タスクの性能にどのように影響を与えるか？
• RQ5 マスキング比やデコーダーの深さといったハイパーパrameterは、提案された特徴予測タスクに対して最適であるか？

主な発見

• 表面法線と表面変動の両方を再構築すると最良の性能が得られ、ScanObjectNN分類タスクにおいて位置再構築ベースラインより1.5%の向上を達成した。
• 4ブロックのデコーダーが最良の性能を示し、2ブロックバージョンより1.5%の精度向上を達成したが、より深いネットワークでは過学習が生じた。
• マスキング比60%が最適な性能をもたらした。40%と90%のマスキング比は、それぞれタスクの単純さや情報の不足により、最適でない学習を引き起こした。
• デコーダーから自己アテンションを除去すると、精度が2.0%低下した。これは、マスクされた点間での特徴伝搬において自己アテンションが果たす重要な役割を示している。
• より多くのクエリ点（高いクエリ/マスク比）を使用することで性能が向上した。これは、密なクエリサンプリングが特徴回復を強化することを示している。
• シーンレベルのデータ（ScanNet）において、表面変動と色をターゲットに事前学習することで、S3DISのセマンティックセグメンテーションおよび検出タスクで一貫した性能向上が得られ、大規模でノイズの多い点群への汎用性が示された。