[論文レビュー] Enhancing Multi-modal and Multi-hop Question Answering via Structured Knowledge and Unified Retrieval-Generation

Qian Yang, Qian Chen+3 more|arXiv (Cornell University)|Dec 16, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、エンティティ中心の知識統合と統合的検索・生成デコーダーを用いて検索と生成を強化することで、マルチモーダルでマルチホップな質問応答を統合的に扱うSKURGというフレームワークを提案する。動的に構築された知識グラフを介してマルチモーダル入力をアライメントさせ、適応的かつ相互に依存する検索と答え生成を可能にすることで、パrameter数を減らしながらMultimodalQAおよびWebQAで最先端の性能を達成する。

ABSTRACT

Multi-modal multi-hop question answering involves answering a question by reasoning over multiple input sources from different modalities. Existing methods often retrieve evidences separately and then use a language model to generate an answer based on the retrieved evidences, and thus do not adequately connect candidates and are unable to model the interdependent relations during retrieval. Moreover, the pipelined approaches of retrieval and generation might result in poor generation performance when retrieval performance is low. To address these issues, we propose a Structured Knowledge and Unified Retrieval-Generation (SKURG) approach. SKURG employs an Entity-centered Fusion Encoder to align sources from different modalities using shared entities. It then uses a unified Retrieval-Generation Decoder to integrate intermediate retrieval results for answer generation and also adaptively determine the number of retrieval steps. Extensive experiments on two representative multi-modal multi-hop QA datasets MultimodalQA and WebQA demonstrate that SKURG outperforms the state-of-the-art models in both source retrieval and answer generation performance with fewer parameters. Our code is available at https://github.com/HITsz-TMG/SKURG.

研究の動機と目的

• 検索段階におけるクロスマodal関係のモデリングに課題を抱える既存のマルチモーダルマルチホップQAシステムの制限を解消すること。
• パイプライン型の検索・生成アーキテクチャにおける誤差伝搬と固定された検索ステップ数の問題を克服すること。
• 共通のエンティティ表現を活用する統一的で適応的なプロセスとして、証拠検索と答え生成を統合すること。
• 外部知識に依存せず、入力データそのものから直接知識グラフを構築することで、マルチモーダルな情報源に対する推論を向上させること。
• 視覚的およびテキスト的証拠の統合を要する複雑なマルチホップ質問に対する性能を向上させること。

提案手法

• エンティティ中心の統合エンコーダー（EF-Enc）は、名前付きエンティティ抽出と関係抽出を用いて、入力ソースから知識グラフを構築する。
• EF-Encは、エンティティをそのソースモダリティ（例：画像、テキスト）にリンクさせることで、マルチモーダル入力を共有の意味的空間に統合する。
• 統合的検索・生成デコーダー（RG-Dec）はポインタメカニズムを用いて、エンドツーエンドかつ相互に依存する形で関連する証拠を検索し、答えを生成する。
• RG-Decは、ソース表現と統合されたエンティティ埋め込みの両方に注目することで、検索ステップ数を適応的に決定する。
• モデルは検索と生成を同時に最適化し、共有のアテンションを通じて答え生成が証拠検索をガイドするようにする。
• 検索と生成に共通のパラメータを使用するシーケンス・トゥ・シーケンスのトランスフォーマーに基づくアーキテクチャを採用することで、パrameter効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 分離された検索と生成段階に起因する誤差伝搬を低減することで、統合的検索・生成アーキテクチャがマルチモーダルマルチホップQAを改善できるか？
• RQ2 エンティティ中心の知識統合は、マルチホップQAにおけるクロスマodalアライメントと推論をどのように向上させるか？
• RQ3 固定ホップ数の検索と比較して、適応的かつ動的な検索はマルチモーダル環境下でどれほど性能を向上させるか？
• RQ4 検索と生成をエンドツーエンドで同時に最適化することで、パイプライン型アプローチと比較して、より優れた答え生成と証拠検索が達成できるか？
• RQ5 マルチモーダルQAにおける短い答えと長い答えの生成タスクにおいて、モデルの性能はどのように異なるか？

主な発見

• SKURGは、両方のタスクでマルチモーダルQAおよびWebQAの最先端モデルを上回る性能を示した。
• マルチモーダルQAでは、ベースラインと比較して検索F1で9.3の絶対的向上、答え生成F1で3.5の絶対的向上を達成した。
• WebQAでは、長めの答え（20トークン以上）に対して検索F1が11.1向上し、複雑なクエリに対する強力な検索能力を示した。
• アブレーションスタディの結果、予測されたエンティティアライメントではなく、ゴールドのエンティティアライメントを使用した場合に性能が向上した。これは、正確なエンティティのグランドイングの重要性を確認している。
• マルチモーダルQAではWebQAよりも大きな向上を示した。これは、前者がクロスマodal推論に強く依存しており、答えのスパンが短いことが理由と考えられる。
• 事例スタディでは、EF-Encが正しい画像ソースアライメントを可能にした一方、RG-Decは同一でないが意味的に関連する証拠（例：画像から得られるブランドアーティストとテキストからの情報）を正しく検索できた。