[論文レビュー] End-to-end Knowledge Retrieval with Multi-modal Queries

Man Luo, Zhiyuan Fang+3 more|arXiv (Cornell University)|Jun 1, 2023

Multimodal Machine Learning Applications被引用数 1

ひとこと要約

本稿では、画像とテキストのキューを組み合わせたマルチモーダルクエリを用いた知識検索のための新しいベンチマークReMuQを紹介する。また、中間モジュール（例：キャプション生成器）を経由せずに、生画像とテキストを直接処理するエンドツーエンドのビジョン・ランゲージリトリーバーReVizを提案する。新規の事前学習タスクであるVL-ICTを用いることで、ゼロショットおよびファインチューニング設定の両方でReMuQおよびOK-VQAで最先端の性能を達成した。

ABSTRACT

We investigate knowledge retrieval with multi-modal queries, i.e. queries containing information split across image and text inputs, a challenging task that differs from previous work on cross-modal retrieval. We curate a new dataset called ReMuQ for benchmarking progress on this task. ReMuQ requires a system to retrieve knowledge from a large corpus by integrating contents from both text and image queries. We introduce a retriever model ``ReViz'' that can directly process input text and images to retrieve relevant knowledge in an end-to-end fashion without being dependent on intermediate modules such as object detectors or caption generators. We introduce a new pretraining task that is effective for learning knowledge retrieval with multimodal queries and also improves performance on downstream tasks. We demonstrate superior performance in retrieval on two datasets (ReMuQ and OK-VQA) under zero-shot settings as well as further improvements when finetuned on these datasets.

研究の動機と目的

• 画像とテキストに分散された情報を含むクエリを用いて、大規模なコーパスから関連知識を検索する課題に取り組むこと。これは、先行研究で十分に検討されていない分野である。
• キャプション生成器やオブジェクト検出器などの中間画像からテキストへのモジュールに依存する既存の二段階検索手法の制限を克服すること。
• 視覚的および言語的入力を直接統合することで、改善された知識検索を実現するエンドツーエンドのビジョン・ランゲージリトリーバーを開発すること。
• 完全にアノテートされた画像・テキストペアを必要としない弱教師付き事前学習タスク、VL-ICTを設計し、マルチモーダル検索性能の向上を図ること。

提案手法

• 生画像ピクセルと長文の知識テキストを処理できる、ViLTを用いた画像エンコーダーとBERTを用いたテキストエンコーダーを備えたReVizを提案し、エンドツーエンドの学習を可能にする。
• テキストのキーワードをマスクすることで情報漏洩を防ぎつつ、画像とテキストモダリティを整合させる、新規の事前学習タスクであるビジョン・ランゲージマスクドコントラストブティューニング（VL-ICT）を導入する。
• WiTデータセットからトレーニングトリプレットを構築し、画像とテキスト入力の間で相互排他的な関係を保つことで、共同理解を促進する。
• モダリティ固有のエンコーダー（ビジョントランスフォーマーと言語トランスフォーマー）を備えたデュアルエンコーダー構造を採用し、コントラスト学習によりアライメントを学習する。
• WebQAの回答オプションのリトライーブコーパスを用いて、ReMuQの知識ソースを構築し、多様で関連性の高い知識スパンを保証する。
• ReMuQおよびOK-VQAにおいてゼロショットおよびファインチューニング評価を実施し、キャプションベースのベースラインおよび強力なテキスト専用モデルと比較する。

実験結果

リサーチクエスチョン

• RQ1 中間のキャプション生成やオブジェクト検出に依存する二段階手法よりも、エンドツーエンドのビジョン・ランゲージリトリーバーが優れた性能を発揮できるか？
• RQ2 VL-ICTのような弱教師付き事前学習タスクは、マルチモーダルクエリの検索性能向上にどの程度有効か？
• RQ3 キャプション生成器などの外部モジュールへの依存を排除することで、ドメインをまたいでより良い一般化性能が得られるか？
• RQ4 VL-ICT事前学習タスクにおける最適なマスク比は何か？情報漏洩とモデル学習のバランスをとるための最適値は？

主な発見

• ReVizは、ReMuQおよびOK-VQAの両データセットで最先端の性能を達成し、ゼロショットおよびファインチューニング設定の両方で、すべての先行手法を上回った。
• VL-ICT事前学習タスクにおいてキーワードを20％マスクしたモデルが、0％およびより高いマスク比よりも優れた検索性能を示した。
• 真値の画像キャプションを使用することで、生成キャプションよりも検索性能が顕著に向上した。これは、先行手法におけるキャプション生成モデルのボトルネックを示している。
• アブレーションスタディにより、ReVizのエンドツーエンド設計が中間モジュールに起因する情報損失を回避しており、より強固な知識検索を実現していることが確認された。
• ReMuQまたはOK-VQAでReVizをファインチューニングすることで、すべての指標で一貫した改善が得られ、その適応性と優れた一般化性能が示された。
• 提案されたVL-ICT事前学習タスクは、トレーニングデータが限られていたり部分的に重複していたりする状況でも、下流の検索性能を効果的に向上させた。