[論文レビュー] X$^2$-VLM: All-In-One Pre-trained Model For Vision-Language Tasks

Yan Zeng, Xinsong Zhang+4 more|arXiv (Cornell University)|Nov 22, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

X$^2$-VLMは、物体、領域、および全体の画像をカバーする多段階の視覚的・言語的整合性を、柔軟なモジュラーTransformerアーキテクチャを通じて学習する、統合的でワンストップの視覚言語事前学習フレームワークを提案する。画像・テキスト対および動画・テキスト対を用いて、多段階の整合性と局所化を同時に最適化することで、画像・テキストおよび動画・テキストベンチマークの両方で最先端の性能を達成するとともに、テキストエンコーダーの単純な交換により、多言語およびドメイン外タスクへのゼロショット転送を可能にする。

ABSTRACT

Vision language pre-training aims to learn alignments between vision and language from a large amount of data. Most existing methods only learn image-text alignments. Some others utilize pre-trained object detectors to leverage vision language alignments at the object level. In this paper, we propose to learn multi-grained vision language alignments by a unified pre-training framework that learns multi-grained aligning and multi-grained localization simultaneously. Based on it, we present X$^2$-VLM, an all-in-one model with a flexible modular architecture, in which we further unify image-text pre-training and video-text pre-training in one model. X$^2$-VLM is able to learn unlimited visual concepts associated with diverse text descriptions. Experiment results show that X$^2$-VLM performs the best on base and large scale for both image-text and video-text tasks, making a good trade-off between performance and model scale. Moreover, we show that the modular design of X$^2$-VLM results in high transferability for it to be utilized in any language or domain. For example, by simply replacing the text encoder with XLM-R, X$^2$-VLM outperforms state-of-the-art multilingual multi-modal pre-trained models without any multilingual pre-training. The code and pre-trained models are available at https://github.com/zengyan-97/X2-VLM.

研究の動機と目的

• 既存の視覚言語モデルが粗い粒度またはオブジェクトレベルの整合性に限定されているという限界を是正するため、物体、領域、および全体画像をカバーする多段階の視覚的・言語的整合性を学習すること。
• 単一のモデルアーキテクチャ内で画像・テキストおよび動画・テキスト事前学習を統合し、より広範なマルチモodal理解を実現すること。
• モジュラー設計を活用することで、追加の事前学習を経ずに、テキストエンコーダーの交換によって多言語またはドメイン特化タスクへのゼロショット適応を可能にすること。
• 大規模でノイズの多い画像・テキストおよび動画・テキストデータ上で、多段階の事前学習を効果的にスケーリングすること。
• 細粒度の整合性を学習することで、弱い相関を持つ画像・テキストペアや複雑な下流タスクでの性能向上が達成されることを示すこと。

提案手法

• X$^2$-VLMは、視覚エンコーダー、テキストエンコーダー、およびクロスアテンション統合モジュールからなる3モジュールのTransformerベースアーキテクチャを採用する。
• 視覚エンコーダーは、視覚変換器を介して画像を処理し、パッチ特徴量を抽出することで、物体、領域、または全体画像を統一的な形で表す多段階の視覚的コンセプトを表現する。
• 視覚特徴量と対応するテキスト特徴量を一致させる多段階の整合性と、テキスト記述に基づいて視覚的コンセプトのバウンディングボックスを予測する多段階の局所化の両方を同時に最適化する。
• モデルは、オブジェクトラベル、領域アノテーション、および全体画像キャプションの3種類のデータタイプで事前学習され、多様な視覚的コンセプトと多様なテキスト記述との間の関連を学習可能になる。
• 動画・テキスト事前学習は、動画フレームをサンプリングし、同じ視覚エンコーダーで符号化し、時間方向にパッチ特徴量を平均化することで、画像・テキスト事前学習と統合する。
• モジュラー設計により、テキストエンコーダー（例：XLM-R）のプラグアンドプレイによる交換が可能となり、多言語またはドメイン特化タスクへのゼロショット適応が可能になる。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト検出器に依存せずに、物体、領域、および全体画像をカバーする多段階の視覚言語整合性を、統合された事前学習フレームワークで効果的に学習できるか？
• RQ2 多段階の整合性と局所化の両方を同時に最適化することで、下流の視覚言語タスクでの性能がどのように向上するか？
• RQ3 同じエンコーダー・パラメータを共有することで、単一の事前学習モデルが画像・テキストおよび動画・テキストタスクの両方にどの程度一般化できるか？
• RQ4 X$^2$-VLMのモジュラーアーキテクチャは、追加の事前学習を経ずに、多言語またはドメイン外タスクへのゼロショット転送を可能にするか？
• RQ5 オブジェクトレベルと領域レベルの監視の相対的な貢献度は、リtrieval、グランドイング、オープンボリューム検出タスクにおいてどのように異なるか？

主な発見

• X$^2$-VLMは、ベースおよび大規模な画像・テキストおよび動画・テキストベンチマークの両方で最先端の性能を達成し、リtrieval、VQA、および視覚的グランドイングの分野で既存手法を上回る。
• アブレーションスタディの結果、多段階の整合性または局所化損失を削除すると性能が著しく低下することが確認され、両方のコンponentが不可欠であることが裏付けられた。
• オブジェクトデータと領域データを併用することで、すべてのタスクで最高の性能が得られ、オブジェクトデータは画像リtrievalにおいて特に重要であり、領域データは視覚的グランドイングにおいて中心的役割を果たす。
• X$^2$-VLMは、テキストエンコーダーをXLM-Rに交換することで、多言語事前学習を経ていないにもかかわらず、専用に多言語事前学習されたモデルを上回る多言語タスクへのゼロショット転送性能を達成した。
• 定性的な結果から、X$^2$-VLMは、特定のブランド、キャラクタ、部分的に遮蔽されたオブジェクトなど、細粒度の視覚的コンセプトをオープンドメインの画像において正確に局所化できることを示した。