[論文レビュー] MultiMAE: Multi-modal Multi-task Masked Autoencoders

Roman Bachmann, David Mizrahi+2 more|arXiv (Cornell University)|Apr 4, 2022

Domain Adaptation and Few-Shot Learning被引用数 10

ひとこと要約

MultiMAE は、RGB画像、深度、セマンティックセグメンテーションの複数のモダリティを、擬似ラベル付きデータを用いて一括して事前学習する、マルチモーダルでマルチタスクなマスク付き自己符号化フレームワークを提案する。複数のモダリティにわたるパッチをマスクし、タスク固有のデコーダーを用いてそれらを再構築するように学習させることで、マルチモーダルおよびマルチタスクの表現を学習し、最小限のアーキテクチャ変更と効率的な学習で、画像分類、セグメンテーション、深度推定のタスクにおいて最先端の転移性能を達成する。

ABSTRACT

We propose a pre-training strategy called Multi-modal Multi-task Masked Autoencoders (MultiMAE). It differs from standard Masked Autoencoding in two key aspects: I) it can optionally accept additional modalities of information in the input besides the RGB image (hence "multi-modal"), and II) its training objective accordingly includes predicting multiple outputs besides the RGB image (hence "multi-task"). We make use of masking (across image patches and input modalities) to make training MultiMAE tractable as well as to ensure cross-modality predictive coding is indeed learned by the network. We show this pre-training strategy leads to a flexible, simple, and efficient framework with improved transfer results to downstream tasks. In particular, the same exact pre-trained network can be flexibly used when additional information besides RGB images is available or when no information other than RGB is available - in all configurations yielding competitive to or significantly better results than the baselines. To avoid needing training datasets with multiple modalities and tasks, we train MultiMAE entirely using pseudo labeling, which makes the framework widely applicable to any RGB dataset. The experiments are performed on multiple transfer tasks (image classification, semantic segmentation, depth estimation) and datasets (ImageNet, ADE20K, Taskonomy, Hypersim, NYUv2). The results show an intriguingly impressive capability by the model in cross-modal/task predictive coding and transfer.

研究の動機と目的

• 複数のモダリティ（RGB、深度、セグメンテーション）と複数のタスクを統合して利用することで、下流タスクの転移性能を向上させる統一された事前学習フレームワークの開発。
• 同じ事前学習モデルを用いて、単一モダリティおよびマルチモーダルな下流タスクに対して柔軟に微調整可能にする。
• マルチモーダルデータセットの必要性を回避するため、RGB画像と擬似ラベル付きデータのみを用いて効率的なモデル学習を実現する。
• マルチモーダルおよびマルチタスク予測符号化が表現学習と転移性能の向上に寄与するかどうかを検証する。
• 一括して事前学習されたMultiMAEモデルが、多様な下流タスクにおいて、タスク固有のベースラインを上回るか同等の性能を発揮できることを示すこと。

提案手法

• MultiMAE は、複数の入力モダリティ（RGB、深度、セグメンテーション）からランダムに抽出されたパッチのサブセットを処理するためのビジョントランスフォーマーのエンコーダーを用い、パッチおよびモダリティの両方にマスクを適用する。
• 各タスクのマスクされたパッチを再構築するために、学習可能なクエリ（マスクトークンを含む）を用いたクロスアテンションを利用するタスク固有のデコーダーを採用する。
• 学習の目的関数は、マスクされたパッチでの再構築損失のみを最小化することで、異なるモダリティにわたる疎な入力パッチから欠損領域を予測するようモデルを促進する。
• 深度およびセグメンテーションマップは、ImageNet-1Kで事前学習されたモデルを用いて擬似ラベル付けすることで生成され、手動によるアノテーションの必要性を排除する。
• 各モダリティおよび空間的位置に均等にパッチをサンプリングするため、固定されたマスク戦略を採用し、ディリクレ分布の集中パラメータ（α=1）を用いる。
• 8台のA100 GPUを用いて混合精度学習でエンドツーエンドに学習し、入力トークン数が増加しても学習効率を維持するため、浅いデコーダーを採用する。

実験結果

リサーチクエスチョン

• RQ1 複数のモダリティ（RGB、深度、セグメンテーション）を統合的に事前学習する統一されたマスク付き自己符号化フレームワークは、下流タスクの転移性能を向上させることができるか？
• RQ2 マスクされたパッチを用いて、1つのモダリティから別のモダリティを再構築するマルチモーダル予測符号化は、単一モダリティの事前学習よりも優れた表現を生み出すか？
• RQ3 画像分類、セグメンテーション、深度推定といった多様な下流タスクにおいて、MultiMAEの性能は単一タスクのMAEベースラインと比べてどうか？
• RQ4 一括して事前学習されたMultiMAEモデルは、再学習なしに単一モダリティおよびマルチモーダルな下流タスクの両方で競争力のある結果を達成できるか？
• RQ5 追加のモダリティに擬似ラベル付きデータを用いることで、アノテーション付きマルチモーダルデータセットがなくても、効果的なマルチモーダル事前学習が可能になる程度はどの程度か？

主な発見

• ImageNet-1K 画像分類タスクにおいて、MultiMAE はトップ-1精度83.3%を達成し、最良の単一タスクMAEと同等の性能を示したが、マルチモーダルな能力を併せ持つ。
• ADE20K セマンティックセグメンテーションでは、mIoU 46.2 を達成し、最良の単一タスクMAE（D8）を0.3ポイント上回り、優れた一般化性能を示した。
• NYUv2 深度推定では、δ1精度85.1を達成し、単一タスクMAE（D8）を1.4ポイント上回り、顕著な性能向上を示した。
• Taskonomy では、RGBからセグメンテーションへの転移においてL1損失1.040を達成し、すべてのベースラインを上回り、強力なマルチタスク一般化性能を示した。
• 未マスクトークン数が2倍（98 vs. 49）にもかかわらず、MultiMAE の事前学習時間（1エポックあたり6.0分）は、より深いデコーダーを搭載したMAE（1エポックあたり5.0分）と比べてわずかに上回るにとどまり、高い学習効率を示した。
• PyTorchで学習したモデルはオリジナルのTensorFlow実装に比べてわずかに性能が劣るが、差は小さく、異なるコードベース間での再現性が良好であることが示された。