[論文レビュー] PiMAE: Point Cloud and Image Interactive Masked Autoencoders for 3D Object Detection

Anthony Chen, Kevin Zhang+5 more|arXiv (Cornell University)|Mar 14, 2023

3D Surveying and Cultural Heritage被引用数 5

ひとこと要約

PiMAEは、相互作用的なマスク付き自己符号化器を用いて、3次元点群と2次元RGB画像の表現を共同で学ぶ自己教師あり事前学習フレームワークを提案する。補完的なクロスモーダルマスキング、マスクトークンの共有デコーダー、およびクロスモーダル再構成を導入することで、大規模なRGB-Dベンチマークにおいて3次元物体検出を2.9%、2次元検出を6.7%、少サンプル分類を2.4%向上させた。

ABSTRACT

Masked Autoencoders learn strong visual representations and achieve state-of-the-art results in several independent modalities, yet very few works have addressed their capabilities in multi-modality settings. In this work, we focus on point cloud and RGB image data, two modalities that are often presented together in the real world, and explore their meaningful interactions. To improve upon the cross-modal synergy in existing works, we propose PiMAE, a self-supervised pre-training framework that promotes 3D and 2D interaction through three aspects. Specifically, we first notice the importance of masking strategies between the two sources and utilize a projection module to complementarily align the mask and visible tokens of the two modalities. Then, we utilize a well-crafted two-branch MAE pipeline with a novel shared decoder to promote cross-modality interaction in the mask tokens. Finally, we design a unique cross-modal reconstruction module to enhance representation learning for both modalities. Through extensive experiments performed on large-scale RGB-D scene understanding benchmarks (SUN RGB-D and ScannetV2), we discover it is nontrivial to interactively learn point-image features, where we greatly improve multiple 3D detectors, 2D detectors, and few-shot classifiers by 2.9%, 6.7%, and 2.4%, respectively. Code is available at https://github.com/BLVLab/PiMAE.

研究の動機と目的

• 現実世界の認識タスクにおける3次元点群と2次元画像間の効果的なマルチモーダル自己教師あり学習の欠如に対処すること。
• サンプリングバイアスや最適でないモダリティ間相互作用を抱える単純な統合や対照的学習を超えて、クロスモーダル特徴の整合性と相互作用を向上させること。
• 下流の3次元および2次元ビジョンタスクに強い、統合的で共同の表現学習を可能にする包括的な事前学習フレームワークを設計すること。
• 明示的なクロスモーダル監視を伴う相互作用的でマスク付き自己符号化が、単一モダリティまたは非相互作用的マルチモーダル事前学習を上回ることを実証すること。

提案手法

• 2本のブランチからなるマスク付き自己符号化器アーキテクチャは、点群と画像入力を別々に処理し、モダリティ固有のエンコーダーとマスクトークンの共有デコーダーを備える。
• 補完的なクロスモーダルマスキングは、点群トークンを画像パッチに投影し、逆に画像トークンを点群に投影することで、点群と画像モダリティ間の可視およびマスク済みトークンの整合性を図る。
• 共有デコーダーにより、両モダリティのマスクトークン間の相互情報学習が可能となり、その後、モダリティ固有のデコーダーで再構成が行われる。
• クロスモーダル再構成ヘッドは、点群特徴が画像特徴またはピクセルを再構成するのを強制することで、意味的整合性と特徴の豊かさを向上させる。
• モデルはマスク付き自己符号化目的関数を用いてSUN RGB-DおよびScanNetV2で事前学習され、その後、検出および少サンプル分類タスクで微調整が行われる。
• このフレームワークはデータ効率の良い微調整をサポートしており、限られたラベル付きデータでも強力な性能を示す。

実験結果

リサーチクエスチョン

• RQ1 マスク付き自己符号化器は、3次元点群と2次元画像モダリティの共同事前学習を効果的に拡張できるか？
• RQ2 補完的なクロスモーダルマスキングは、ランダムまたは一様マスキング戦略と比較して、特徴の整合性と性能をどのように向上させるか？
• RQ3 マルチモーダルMAEにおける共有デコーダーは、クロスモーダル相互作用と表現品質にどのような影響を与えるか？
• RQ4 クロスモーダル再構成は、特徴学習および下流タスクの性能にどの程度向上効果をもたらすか？
• RQ5 単一モダリティ事前学習と比較して、両モダリティの共同事前学習は、下流タスクの一般化性能およびデータ効率の観点でどの程度優れているか？

主な発見

• PiMAEは、ベースライン手法と比較して、SUN RGB-DデータセットにおけるAP@25の観点から3次元物体検出性能を2.9%向上させた。
• 同じベンチマークで2次元物体検出性能も6.7%向上し、強力なクロスモーダル連携効果を示した。
• CIFAR-FSにおける5-way 1-shot設定の少サンプル画像分類において、PiMAEは2.4%の精度向上を達成し、一般化性能の向上を示した。
• 補完的マスキングは、ランダムおよび一様マスキングを上回り、AP@25で59.0を達成した。これは、整合性のあるマスキングがクロスモーダル相互作用を強化することを示している。
• クロスモーダル再構成の導入により、単一モダリティ固有の再構成のみを用いたベースラインと比較して、AP@25が0.4%向上した。これは、その有効性を確認するものである。
• 両モダリティの共同事前学習では、1つのブランチのみを用いた場合に顕著な性能低下が生じ、双ブランチ学習がクロスモーダル理解に不可欠であることを裏付けた。