[論文レビュー] SemVLP: Vision-Language Pre-training by Aligning Semantics at Multiple Levels

Chenliang Li, Ming Yan+5 more|arXiv (Cornell University)|Mar 14, 2021

Multimodal Machine Learning Applications参考文献 28被引用数 20

ひとこと要約

SemVLPは、共通のシングルストリームおよびデュアルストリームTransformerアーキテクチャを用いて反復的プリトレーニングすることで、低レベルの特徴と高レベルの意味的側面の両方で画像とテキスト表現を統合的に整列させる統合的ビジョン・ランゲージプリトレーニングフレームワークを提案する。プラグ可能なクロスモーダルアテンションモジュールとパラメータ共有を活用することで、同じモデルサイズの既存のシングルストリームおよびデュアルストリームモデルを上回る、複数のビジョン・ランゲージタスクにおける最先端のパフォーマンスを達成する。

ABSTRACT

Vision-language pre-training (VLP) on large-scale image-text pairs has recently witnessed rapid progress for learning cross-modal representations. Existing pre-training methods either directly concatenate image representation and text representation at a feature level as input to a single-stream Transformer, or use a two-stream cross-modal Transformer to align the image-text representation at a high-level semantic space. In real-world image-text data, we observe that it is easy for some of the image-text pairs to align simple semantics on both modalities, while others may be related after higher-level abstraction. Therefore, in this paper, we propose a new pre-training method SemVLP, which jointly aligns both the low-level and high-level semantics between image and text representations. The model is pre-trained iteratively with two prevalent fashions: single-stream pre-training to align at a fine-grained feature level and two-stream pre-training to align high-level semantics, by employing a shared Transformer network with a pluggable cross-modal attention module. An extensive set of experiments have been conducted on four well-established vision-language understanding tasks to demonstrate the effectiveness of the proposed SemVLP in aligning cross-modal representations towards different semantic granularities.

研究の動機と目的

• 既存のビジョン・ランゲージプリトレーニング手法が単一の意味的レベルの整列に限定されているという問題を解決すること。
• 微細な特徴レベルと高レベルの抽象的意味を同時にモデル化することで、ビジョンとランゲージの間の意味的ギャップを埋めること。
• 共通のTransformerとプラグ可能なクロスアテンションモジュールを通じて、シングルストリームおよびデュアルストリームアーキテクチャの長所を統合すること。
• 詳細な説明文と抽象的な要約のような、意味的粒度が異なる多様な画像・テキストペアにおける一般化を向上させること。

提案手法

• SemVLPは、シングルストリームおよびデュアルストリームプリトレーニングモードの両方で共通のTransformerエンコーダーを使用することで、パラメータ共有と相互正則化を可能にする。
• シングルストリームモードでは、画像領域特徴とテキストトークンを連結し、共通のTransformerに供給することで、エンドツーエンドの特徴レベル整列を実現する。
• デュアルストリームモードでは、画像とテキストが共通のTransformerで別々に符号化された後、プラグ可能なクロスアテンションモジュールを介して高レベルの意味的統合が行われる。
• モデルは両モード間で反復的にプリトレーニングされ、ネットワークが複数の意味的粒度でのクロスモーダル整列を学習できるようにする。
• クロスアテンションモジュールは、例えばL_s = 6のように、異なる層に動的に挿入され、高レベルの意味的整列を最適化する。
• 微調整は、実証的により優れたパフォーマンスを示すシングルストリームアーキテクチャを用いて実施される。

実験結果

リサーチクエスチョン

• RQ1 固定されたレベルの整列と比較して、複数の意味的レベルで同時にプリトレーニングすることで、ビジョン・ランゲージ表現学習が向上するか？
• RQ2 パラメータ共有を通じてシングルストリームおよびデュアルストリームアーキテクチャを統合することで、モデルの一般化性能にどのような影響を与えるか？
• RQ3 デュアルストリームモードにおいて、クロスアテンションをどの層に挿入すれば、低レベルと高レベルの意味的整列のバランスを最適にとれるか？
• RQ4 両モードを用いた反復的プリトレーニングが、モデルの正則化を促進し、下流タスクでのパフォーマンスを向上させるか？
• RQ5 両モードでプリトレーニングされたモデルにおいて、シングルストリーム微調整はデュアルストリーム微調整よりも効果的か？

主な発見

• 12層のSemVLPモデルは、同じモデルサイズのすべての従来のシングルストリームおよびデュアルストリームアーキテクチャを、4つのベンチマークタスクで上回る。
• VQAタスクでは、SemVLPは74.52%の精度を達成し、微調整においてシングルストリームベースライン（74.52%）とデュアルストリームベースライン（73.92%）を上回った。
• アブレーションスタディの結果、シングルストリームおよびデュアルストリームモードの両方でプリトレーニングすることで、単独で使用する場合よりも優れたパフォーマンスが得られることが示された。
• クロスアテンションを層L_s = 6に挿入した場合に、デュアルストリームの最適なパフォーマンスが達成され、中程度の抽象化レベルが高レベル整列に最も効果的であることが示された。
• 可視化の結果、SemVLPはアテンションマップで「person」と「people」を正しく区別しているのに対し、シングルストリームモデルはその区別に失敗していることが確認された。
• すべてのタスクにおいて、シングルストリームアーキテクチャを用いた微調整が優れた結果をもたらしたため、プリトレーニングプロセスが特徴レベルの統合能力を強化していると示唆される。