[論文レビュー] GD-MAE: Generative Decoder for MAE Pre-training on LiDAR Point Clouds

Honghui Yang, Tong He+6 more|arXiv (Cornell University)|Dec 6, 2022

3D Shape Modeling and Analysis被引用数 6

ひとこと要約

GD-MAE は、LiDAR ポイントクラウドにおけるマスクドオートエンコーダー（MAE）事前学習のための生成的デコーダーを提案し、複雑なデコーダーを軽量な畳み込みアップサンプリングおよび特徴拡張機構に置き換える。柔軟で細粒度のマスキングを可能にするとともに、従来手法の12％未満の推論遅延を実現し、Waymo、KITTI、ONCE で最先端の性能を達成。特にラベル付きデータが20％の状況でも、完全教師ありベースラインと同等の精度を達成する。

ABSTRACT

Despite the tremendous progress of Masked Autoencoders (MAE) in developing vision tasks such as image and video, exploring MAE in large-scale 3D point clouds remains challenging due to the inherent irregularity. In contrast to previous 3D MAE frameworks, which either design a complex decoder to infer masked information from maintained regions or adopt sophisticated masking strategies, we instead propose a much simpler paradigm. The core idea is to apply a extbf{G}enerative extbf{D}ecoder for MAE (GD-MAE) to automatically merges the surrounding context to restore the masked geometric knowledge in a hierarchical fusion manner. In doing so, our approach is free from introducing the heuristic design of decoders and enjoys the flexibility of exploring various masking strategies. The corresponding part costs less than extbf{12\%} latency compared with conventional methods, while achieving better performance. We demonstrate the efficacy of the proposed method on several large-scale benchmarks: Waymo, KITTI, and ONCE. Consistent improvement on downstream detection tasks illustrates strong robustness and generalization capability. Not only our method reveals state-of-the-art results, but remarkably, we achieve comparable accuracy even with extbf{20\%} of the labeled data on the Waymo dataset. Code will be released at https://github.com/Nightmare-n/GD-MAE.

研究の動機と目的

• 不規則な3次元 LiDAR ポイントクラウドにおける MAE 事前学習を単純化し、複雑なデコーダー設計を排除すること。
• バックトラッキングやマスキングの一貫性制約を必要としない、ポイント単位やパッチ単位の柔軟なマスキング戦略を可能にすること。
• 推論遅延を低減しながら、下流の検出性能を維持または向上させること。
• 特に大規模ベンチマークにおいて、最小限のラベル付きデータで高い性能を達成するデータ効率の向上を図ること。

提案手法

• 不規則なポイントクラウド構造を扱い、可視トークンの受容 field を拡大するため、スパース畳み込みとスパーストランスフォーマーを用いたマルチスケールエンコーダーとしてのスパースピラミッドトランスフォーマー（SPT）を提案する。
• 転置畳み込みを用いてマルチスケール特徴をアップサンプリングし、可視領域をマスク領域に拡張するための畳み込みを用いる生成的デコーダー（GD）を導入することで、マスクされたトークンの直接インデックス化による再構成を可能にする。
• マスク領域に学習可能なトークンを導入せず、周囲のコンテキストから幾何的詳細を再構成するため、デコーダーで階層的特徴統合を実装する。
• マスキングプロセスとデコーダーの複雑さを分離することで、ポイント単位、パッチ単位、ブロック単位のさまざまなマスキング粒度をサポートする。
• 再構成の前にマルチスケール特徴を同じ解像度に投影することで、スケール間の統一された特徴空間を確保し、トレーニングと推論を単純化する。
• 2段階のトレーニングプロトコルを採用：大規模なラベルなし LiDAR データでの事前学習の後、小規模なラベル付きデータセットでの微調整による検出タスクへの適用。

実験結果

リサーチクエスチョン

• RQ1 3次元ポイントクラウドにおける MAE スタイルの事前学習において、複雑な学習可能トークンベースのデコーダーに代わって、より単純でエンドツーエンドの生成的デコーダーが可能かどうか。
• RQ2 提案されたフレームワークは、性能を損なわず、遅延を増加させることなく、柔軟なマスキング戦略を可能にするか。
• RQ3 GD-MAE は、特にラベル付きデータが限られた状況において、3次元オブジェクト検出のデータ効率をどの程度向上できるか。
• RQ4 MAE フレームワークにおけるトランスフォーマー基盤のデコーダーと比較して、生成的デコーダーの性能と推論速度はどのように異なるか。

主な発見

• GD-MAE は、Waymo Open Dataset において、車両で 66.54 mAPH/L2、歩行者で 64.93 mAPH/L2 の最先端の3次元オブジェクト検出性能を達成した。
• ラベル付きデータをたった20％に制限しても、完全教師ありベースラインと同等の精度を達成し、優れたデータ効率を示した。
• 生成的デコーダーにより、推論遅延が 3.2ms にまで低減され、従来のトランスフォーマー基盤デコーダーの 27.1ms の 12％ 未満にまで短縮された。
• パッチ単位のマスキングが最良の性能（車両で 62.65 mAPH/L2、歩行者で 61.44）を示し、ブロック単位のマスキング（61.60, 59.25）やポイント単位のマスキング（62.41, 60.60）を上回った。
• 提案手法は、さまざまなマルチスケールエンコーダーにおいて検出精度を向上させ、特にスパーストランスフォーマー基盤のエンコーダーで最大の向上（1.05 mAPH/L2）を達成した。
• アブレーション実験では、単一の畳み込みデコーダーが複数のトランスフォーマー型デコーダーを上回る性能を示し、提案された生成的設計の有効性と単純性を裏付けた。