[論文レビュー] VLMAE: Vision-Language Masked Autoencoder

Sunan He, Taian Guo+5 more|arXiv (Cornell University)|Aug 19, 2022

Multimodal Machine Learning Applications被引用数 9

ひとこと要約

VLMAEは、ピクセル単位の再構成とマスキングされた特徴予測を用いることで、視覚言語事前学習における焦点的バイアスを軽減する視覚言語マスクドオートエンコーダー枠組みを提案する。これにより、最大20%の高速化を実現した上で、下流タスクで最先端の性能を達成した。本手法は、領域および特徴レベルのマスキングを用いた非対称エンコーダ-デコーダアーキテクチャを採用し、包括的な画像理解とマルチモodalな整合性を向上させる。

ABSTRACT

Image and language modeling is of crucial importance for vision-language pre-training (VLP), which aims to learn multi-modal representations from large-scale paired image-text data. However, we observe that most existing VLP methods focus on modeling the interactions between image and text features while neglecting the information disparity between image and text, thus suffering from focal bias. To address this problem, we propose a vision-language masked autoencoder framework (VLMAE). VLMAE employs visual generative learning, facilitating the model to acquire fine-grained and unbiased features. Unlike the previous works, VLMAE pays attention to almost all critical patches in an image, providing more comprehensive understanding. Extensive experiments demonstrate that VLMAE achieves better performance in various vision-language downstream tasks, including visual question answering, image-text retrieval and visual grounding, even with up to 20% pre-training speedup.

研究の動機と目的

• 視覚言語事前学習における焦点的バイアスを解消すること。具体的には、テキストで記述された顕著な画像領域に過剰に注目し、他の重要なオブジェクトを無視する傾向を是正すること。
• 包括的な画像特徴抽出を促進する生成的事前学習タスクを活用することで、マルチモーダル表現学習を向上させること。
• 効率的なマスキングと再構成戦略を用いることで、コストを低減しながら性能を維持または向上させること。
• 新規損失関数（領域マスキング画像モデリング（RMIM）と画像特徴再構成（IFR））を導入し、画像-テキストの整合性とモデル表現能力を強化すること。

提案手法

• VLMAEは、視覚と言語のための別個のユニモodalエンコーダーを備えた非対称エンコーダ-デコーダアーキテクチャを採用する。画像のピクセル再構成のための軽量な画像デコーダーと、マルチモーダル特徴集約のための統合学習者を有する。
• 事前学習中に画像パッチに最大50%のマスキング比を適用し、エンコーダーが可視パッチから学習し、欠落したパッチを再構成するよう強制することで、頑健で偏りのない特徴学習を促進する。
• 領域マスキング画像モデリング（RMIM）を導入し、局所的な領域内の画像パッチを再構成することで、画像-テキストの整合性を向上させ、クロスモーダルの一貫性を強化する。
• 画像特徴再構成（IFR）により、可視パッチに基づいてマスキングされた視覚的パッチ特徴を予測可能にし、画像エンコーダーの表現能力を向上させる。
• 対照的学習（ITC）とマスキング言語モデリング（MLM）を生成的目的関数と組み合わせ、整合性と再構成を同時に最適化する。
• マスキング戦略により、事前学習中に画像パッチの50%しか処理しないため、MACsと学習時間を顕著に低減し、計算コストを削減する。

実験結果

リサーチクエスチョン

• RQ1 マスクド画像再構成を用いた生成的事前学習は、視覚言語モデルにおける焦点的バイアスを軽減できるか？
• RQ2 マルチモーダル学習において、グローバルマスキングと比較して、領域マスキングは画像-テキストの整合性をどのように向上させるか？
• RQ3 視覚的パッチの特徴レベル再構成は、モデル表現能力をどの程度向上させるか？
• RQ4 マスクドオートエンコーダーフレームワークは、事前学習コストを削減しつつ、視覚言語タスクでSOTA性能を達成できるか？
• RQ5 高いパッチマスキング比は、視覚言語表現学習における一般化性と頑健性を向上させるか？

主な発見

• VLMAEは、画像-テキスト検索（Flickr30kで98.2 TR、92.9 IR）および視覚的質問応答タスクで最先端の性能を達成し、ALBEFやTCLを上回った。
• 50%のマスキング比を採用した場合、VLMAEは事前学習時間を20%短縮（6.2h vs. 7.7h）し、MACsを18%削減（49.6G vs. 60.5G）した。
• Grad-CAMの可視化結果から、VLMAEは視覚的グランドイングタスクで関連画像領域全体に注目しているのに対し、ALBEFは顕著なオブジェクトに限定的に注目していることが明らかになった。
• アブレーションスタディの結果、MIM、RMIM、IFR損失の追加により性能が向上し、特にRMIMが整合性向上において最大の寄与を示した。
• 注目重みの分析から、VLMAEは画像パッチ全体にわたって注目を均等に分散させ、低注目領域の無視を低減し、バイアスを最小限に抑えることが分かった。
• 75%のマスキング比でも強力な性能を維持しているが、若干の性能低下が見られた。これは、高マスキング比に対してもモデルが頑健であることを示している。