[論文レビュー] MVPTR: Multi-Level Semantic Alignment for Vision-Language Pre-Training via Multi-Stage Learning

Zejun Li, Zhihao Fan+4 more|arXiv (Cornell University)|Jan 29, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

MVPTRは、視覚と言語モダリティにおけるオブジェクトレベルおよびフレーズレベルの意味を明示的にモデル化することで、多段階の意味的整合性を向上させる2段階のビジョン・ランゲージ事前学習フレームワークを提案する。マスキングされたコンセプト回復および構造的フレーズグランドイングタスクを導入することで、MVPTRは画像・テキスト検索、視覚的グランドイング、VQAベンチマークで最先端の性能を達成し、マルチモodal表現学習における階層的整合性の有効性を示している。

ABSTRACT

Previous vision-language pre-training models mainly construct multi-modal inputs with tokens and objects (pixels) followed by performing cross-modality interaction between them. We argue that the input of only tokens and object features limits high-level semantic alignment like phrase-to-region grounding. Meanwhile, multi-level alignments are inherently consistent and able to facilitate the representation learning synergistically. Therefore, in this paper, we propose to learn Multi-level semantic alignment for Vision-language Pre-TRaining (MVPTR). In MVPTR, we follow the nested structure of both modalities to introduce concepts as high-level semantics. To ease the learning from multi-modal multi-level inputs, our framework is split into two stages, the first stage focuses on intra-modality multi-level representation learning, the second enforces interactions across modalities via both coarse-grained and fine-grained semantic alignment tasks. In addition to the commonly used image-text matching and masked language model tasks, we introduce a masked concept recovering task in the first stage to enhance the concept representation learning, and two more tasks in the second stage to explicitly encourage multi-level alignments across modalities. Our code is available at https://github.com/Junction4Nako/mvp_pytorch.

研究の動機と目的

• 既存のビジョン・ランゲージ事前学習モデルがトークンから領域への整合性にのみ焦点を当てており、フレーズから領域へのグランドイングなどの高レベルの意味的つながりを欠いているという制限に対処すること。
• 両モダリティにおいてネストされた意味的コンセプトを構造化することで、語、フレーズ、オブジェクトの複数の意味的レベル間での協調的学習を可能にすること。
• 2段階の学習パラダイムにより、モダリティ内表現学習とモダリティ間相互作用を分離することで、クロスモーダル整合性を向上させること。
• シーングラフから得られるコンセプトとオブジェクトタグをアンカーとして用いて、フレーズレベルの意味を明示的にモデル化することで、下流タスクの表現品質を向上させること。

提案手法

• 2段階の学習フレームワークを導入：最初の段階では、視覚に対してマスキングコンセプト回復（MCR）を、言語に対してフレーズに配慮したトークン生成を用いて、多段階の表現を構築するユニモーダル学習を実施する。
• オブジェクトタグとシーングラフから得られるフレーズレベルのコンセプト（＝高レベルの意味的ユニット）を導入し、トークンと視覚的領域の間を橋渡しする。
• 視覚および言語の両側でマスキングコンセプト回復（MCR）を用いて、オブジェクトタグを視覚的領域と、フレーズを関連するトークンと一致させる。
• 2段階目の段階で粗い粒度と細かい粒度の整合性タスクを用いて、複数の意味的レベルでクロスモーダル相互作用を強制的に促進する。
• 分離されたアテンションメカニズムを活用し、モダリティ内アテンションとクロスモーダルアテンションを分離することで、ユニモーダル学習とクロスモーダル学習の干渉を回避する。
• 重み付きフレーズグランドイング（WPG）を用いたフレーズレベルのグランドイングタスクを導入し、フレーズと視覚的領域の間の関係を明示的にモデル化する。

実験結果

リサーチクエスチョン

• RQ1 語、フレーズ、オブジェクトの多段階的意味を明示的にモデル化することで、トークンから領域への整合性を超えたビジョン・ランゲージ事前学習が向上するか？
• RQ2 ユニモーダル学習とクロスモーダル学習の段階を分離することで、多段階的表現学習の質にどのような影響を与えるか？
• RQ3 マスキングコンセプト回復およびフレーズグランドイングタスクの導入が、下流のビジョン・ランゲージベンチマークのパフォーマンスに与える影響は何か？
• RQ4 オブジェクトレベルおよびフレーズレベルの意味が、ビジョン・ランゲージモデルにおける高レベルの整合性の基盤として、どの程度の役割を果たすか？

主な発見

• アブレーションスタディの結果、オブジェクトレベルのコンセプトを除去すると、画像・テキストマッチングおよびフレーズグランドイングのパフォーマンスが著しく低下し、多段階整合性におけるその基盤的役割が確認された。
• WPGおよびMCRによるフレーズレベルの意味の明示的モデル化により、視覚的グランドイングと細かい粒度のマッチングがそれぞれ2.1%および1.8%向上し、構造化されたフレーズ表現の利点が示された。
• 2段階フレームワークは、アテンション干渉を低減することで、エンドツーエンドモデルを上回る性能を発揮し、MSCOCO、Flickr30k、VQA、SNLI-VEベンチマークで最先端の結果を達成した。
• 可視化結果から、モデルがフレーズコンセプト（例：'group-of-zebra'）を対応する視覚的領域と正しく一致させていることが確認され、フレーズレベルのアテンションメカニズムの有効性が裏付けられた。
• モデルは複数のデータセットにわたって良好な汎化性能を示しており、'two-man' や 'young-boy' といったフレーズがMSCOCO、Flickr30k、VQAのすべてで頻出かつ一貫して出現した。
• シーングラフから得られるコンセプトを用いることで、より頑健なフレーズ表現が得られ、定量的アテンションマップではフレーズノードが適切な画像領域に正しく接続されていることが確認された。