[論文レビュー] mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections

Chenliang Li, Haiyang Xu+13 more|arXiv (Cornell University)|May 24, 2022

Multimodal Machine Learning Applications被引用数 15

ひとこと要約

mPLUGは、マルチモーダル学習における情報の非対称性と計算効率の低さを解消するため、クロスモーダルスキップ接続を用いたビジョン・ランゲージ基盤モデルを提案する。視覚的表現と言語的表現の間で非対称な統合を可能にする層間のショートカットにより、mPLUGはビジョン・ランゲージタスクで最先端の性能を達成し、より少ない事前学習データでビデオ・ランゲージタスクへのゼロショット転送も強く実現し、より大きなモデルを上回る性能を発揮する。

ABSTRACT

Large-scale pretrained foundation models have been an emerging paradigm for building artificial intelligence (AI) systems, which can be quickly adapted to a wide range of downstream tasks. This paper presents mPLUG, a new vision-language foundation model for both cross-modal understanding and generation. Most existing pre-trained models suffer from the problems of low computational efficiency and information asymmetry brought by the long visual sequence in cross-modal alignment. To address these problems, mPLUG introduces an effective and efficient vision-language architecture with novel cross-modal skip-connections, which creates inter-layer shortcuts that skip a certain number of layers for time-consuming full self-attention on the vision side. mPLUG is pre-trained end-to-end on large-scale image-text pairs with both discriminative and generative objectives. It achieves state-of-the-art results on a wide range of vision-language downstream tasks, such as image captioning, image-text retrieval, visual grounding and visual question answering. mPLUG also demonstrates strong zero-shot transferability when directly transferred to multiple video-language tasks.

研究の動機と目的

• 画像に短く抽象的なキャプションがある一方で、視覚的詳細が豊富であるため、ビジョンとランゲージモダリティ間の情報非対称性を是正すること。
• 長大な視覚的シーケンスにおける完全な自己注意機構の計算を減らすことで、ビジョン・ランゲージモデルの計算効率を向上させること。
• ビジョン・ランゲージ理解と生成タスクの両方を統合的に処理できるアーキテクチャを設計すること。
• 微調整なしで、ビデオ・ランゲージタスクへの強力なゼロショット一般化を可能にすること。
• 計算コストとパラメータ効率を低減しつつ、最先端の性能を達成すること。

提案手法

• 視覚的表現が複数の層をスキップし、高レベルの言語的表現と一致できるようにする、層間のショートカットを提供するクロスモーダルスキップ接続を導入する。
• 言語側でのみ共注意力を適用する非対称な共注意力メカニズムを採用し、視覚側の計算負荷を低減する。
• ハイブリッド統合戦略を採用：初期段階で非対称な共注意力を適用し、その後に視覚的・言語的特徴を連結した一貫した注意層を設ける。
• 対照的損失とプレフィックス言語モデリングの目的関数を用いて、大規模な画像・テキストペアデータセット上でmPLUGをエンドツーエンドで事前学習する。
• 訓練中の消失勾配を軽減するため、リーマンドスタイルのショートカットを活用する。
• ビデオ入力に対して一様なフレームサンプリングと特徴の連結を適用し、ゼロショットでビデオタスクに転送可能にする。

実験結果

リサーチクエスチョン

• RQ1 クロスモーダルスキップ接続は、性能を維持または向上させつつ、ビジョン・ランゲージモデルにおける計算コストを効果的に低減できるか？
• RQ2 視覚的表現と言語的表現の間の非対称な統合は、マルチモーダルアライメントにおける情報非対称性をどのように緩和するか？
• RQ3 画像・テキストデータで事前学習したビジョン・ランゲージモデルは、微調整なしでどの程度ビデオ・ランゲージタスクに一般化できるか？
• RQ4 統合アーキテクチャは、ビジョン・ランゲージ理解と生成タスクの両方で最先端の結果を達成できるか？
• RQ5 mPLUGは、より大きなモデルと比較して、効率性とゼロショット転送可能性の面でどのように差をつけるか？

主な発見

• mPLUGは、NoCaps検証セットでCIDErスコア122.5を達成し、SimVLM hugeのような完全に教師ありのモデルを上回る、画像キャプション生成タスクで最先端の性能を発揮した。
• Flickr30Kでは、R@1が44.3、R@5が66.4を達成し、CLIP や Florence といったモデルを上回ったが、それらよりも少ない事前学習データで実現した。
• MSRVTTにおけるゼロショットビデオ・テキスト検索では、R@1が38.1%を達成し、VideoCLIP や VIOLET を上回り、大規模なビデオデータセットで微調整されたモデルと同等の性能を示した。
• MSRVTT-QAにおけるゼロショットビデオ質問応答では、21.1%の正答率を達成し、追加のビデオ事前学習なしでBLIPの19.2%を上回った。
• VATEXにおけるビデオキャプションでは、CIDErスコア42.0を達成し、BLIPの37.4を上回り、強力なゼロショット生成能力を示した。
• クロスモーダルスキップ接続ネットワークは、従来の統合ネットワークと比較して、推論時間を4倍以上短縮しながら、性能を維持または向上させた。