[論文レビュー] Universal Vision-Language Dense Retrieval: Learning A Unified Representation Space for Multi-Modal Retrieval

Zhenghao Liu, Chenyan Xiong+3 more|arXiv (Cornell University)|Sep 1, 2022

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本論文は、テキストと画像の両方の検索を1つの共有埋め込み空間で学習する統合型ビジョン・言語ドメインの高密度検索モデル、UniVL-DRを提案する。モダリティ・バランスの取れたハードネガティブサンプリングと画像の言語化を用いることで、モダリティギャップを埋め、WebQAにおいて最先端の性能を達成し、テキスト-テキストおよびテキスト-画像検索の両タスクで先行モデルを5%以上上回った。

ABSTRACT

This paper presents Universal Vision-Language Dense Retrieval (UniVL-DR), which builds a unified model for multi-modal retrieval. UniVL-DR encodes queries and multi-modality resources in an embedding space for searching candidates from different modalities. To learn a unified embedding space for multi-modal retrieval, UniVL-DR proposes two techniques: 1) Universal embedding optimization strategy, which contrastively optimizes the embedding space using the modality-balanced hard negatives; 2) Image verbalization method, which bridges the modality gap between images and texts in the raw data space. UniVL-DR achieves the state-of-the-art on the multi-modal open-domain question answering benchmark, WebQA, and outperforms all retrieval models on the two subtasks, text-text retrieval and text-image retrieval. It demonstrates that universal multi-modal search is feasible to replace the divide-and-conquer pipeline with a united model and also benefits single/cross modality tasks. All source codes of this work are available at https://github.com/OpenMatch/UniVL-DR.

研究の動機と目的

• マルチモodal検索システムにおけるモダリティの不均衡とクロスモーダルギャップの課題に対処すること。
• 単一モダリティおよびクロスモダリティ検索を1つのエンドツーエンドのモデルに統合し、別々のパイプラインの必要性を排除すること。
• テキストと画像の埋め込みを効果的に分離・統合できる普遍的な表現空間を学習することで、検索性能を向上させること。
• 画像特徴から自然言語の記述を生成することで、クロスモーダルマッチングを強化し、モダリティギャップを低減すること。
• バランスの取れた信号を用いたマルチモーダル事前学習が、単一モダリティおよびマルチモーダル検索タスクの両方の性能向上に寄与することを示すこと。

提案手法

• 対照学習中のモダリティの好みを軽減するために、モダリティ・バランスの取れたハードネガティブ例を用いた普遍的埋め込み最適化戦略を提案する。
• 画像の特徴から自然言語の記述を生成する画像の言語化を導入し、ビジョンと言語の表現を統合する。
• 2段階の画像の言語化手法を採用する：まず画像のキャプションを視覚的特徴と一致させ、次に事実を自然言語に言い換える。
• クエリの言語化を用いて画像コンテンツから関連するテキストクエリを生成し、クロスモーダルマッチング信号を強化する。
• バッチ内ネガティブ例、ハードネガティブ例、およびモダリティ・バランスの取れたハードネガティブ例を用いた対照学習により、モデルをエンドツーエンドで訓練する。
• 与えられたクエリに対して、統合された埋め込み空間でKNN検索を実行し、関連するテキストおよび画像ドキュメントを検索する。

実験結果

リサーチクエスチョン

• RQ1 統合された表現空間は、単一モダリティおよびクロスモダリティ検索タスクの両方を効果的にサポートできるか？
• RQ2 モダリティ・バランスの取れたハードネガティブサンプリング戦略は、マルチモーダル検索における一般化性能を向上させるとともに、モダリティバイアスを低減するか？
• RQ3 画像の言語化は、ビジョンと言語の表現の間の意味的ギャップをどの程度埋めることができるか？
• RQ4 バランスの取れたマルチモーダル信号からの学習は、単一モダリティ検索タスクの性能向上に寄与するか？
• RQ5 統合モデルは、分割統治型パイプラインと比較して、検索効果性および統合能力の面で優れているか？

主な発見

• UniVL-DRはWebQAベンチマークで最先端の性能を達成し、テキスト-画像検索において先行モデル比でMRR@10が5.1%向上した。
• モダリティ・バランスの取れたハードネガティブサンプリング戦略により、モダリティバイアスが低減され、より均一的かつ効果的な埋め込み空間の分布が得られた。
• クエリの言語化による画像の言語化は、キャプションの言語化よりも検索効果性を向上させ、マルチモーダル検索で62.40のMRR@10を達成した。
• モデルは、クエリを埋め込み空間内の適切なモダリティ固有の領域にルーティングできており、効果的なモダリティの明確化が示された。
• UniVL-DRは、クロスモーダル信号を活用することで単一モダリティ検索の性能を向上させ、マルチモーダル事前学習が単一モダリティタスクにも利益をもたらすことを示した。
• 可視化により、UniVL-DRがテキストと画像のドキュメントを明確にクラスタリングしながらも、クエリの関連性を維持していることが確認され、堅牢な表現学習が実現していることが示された。