[論文レビュー] Multi-step Entity-centric Information Retrieval for Multi-Hop Question Answering

Ameya Godbole, Dilip Kavarthapu+9 more|arXiv (Cornell University)|Sep 17, 2019

Topic Modeling参考文献 30被引用数 22

ひとこと要約

本論文は、文脈に即したBERT埋め込みを用いて、最初に取得された証拠文書内のエンティティを関連する支援証拠にリンクすることで、マルチホップQAのためのエンティティ中心のマルチステップ情報検索フレームワークを提案する。エンティティ表記を用いて検索のステップを誘導することで、QAモデルの微調整を一切行わず、HotpotQAでF1スコアを10.59ポイント向上させ、ベースラインのIRおよびリランク手法を著しく上回った。

ABSTRACT

Multi-hop question answering (QA) requires an information retrieval (IR) system that can find \emph{multiple} supporting evidence needed to answer the question, making the retrieval process very challenging. This paper introduces an IR technique that uses information of entities present in the initially retrieved evidence to learn to `\emph{hop}' to other relevant evidence. In a setting, with more than extbf{5 million} Wikipedia paragraphs, our approach leads to significant boost in retrieval performance. The retrieved evidence also increased the performance of an existing QA model (without any training) on the \hotpot benchmark by extbf{10.59} F1.

研究の動機と目的

• 質問と答えの証拠文書の間で語彙的類似度が低いマルチホップQAのための複数の支援証拠文書を検索する課題に対処すること。
• エンティティベースの推論とマルチホップ証拠連鎖を組み込むことで、オープンドメインQAにおける検索パフォーマンスを向上させること。
• 初期結果から得られるエンティティ表記を用いて動的に新しい証拠に「ホップ」できるリトリーバーを開発すること。これにより、クエリの再表現に依存するのを避ける。
• HotpotQAで事前学習されたモデルを用いて、Wikihopなどの他のマルチホップデータセットへのゼロショット転送を可能にすること。
• 検索品質がマルチホップQAにおいて重要なボトルネックであることを示し、エンティティに配慮したリランクが下流のパフォーマンスを顕著に向上させることを実証すること。

提案手法

• 与えられた質問に対して、BM25リトリーバーを用いて初期の証拠文書のセットを取得する。
• 事前学習済みのエンティティタガーを用いて、初期の文書内のエンティティ表記を特定する。
• テスト時データ漏洩を回避するため、エンティティ表記をWikipediaの段落にマッピングするカスタムエイリアステーブルを用いてエンティティリンクを実行する。
• 文脈に即した表現を用いて、質問と候補証拠文書（エンティティ記述段落を含む）をBERTベースのリランカーがエンコードする。
• 初期の文書とエンティティ記述段落を同時にモデル化することで、検索チェーンのスコアを算出し、マルチホップ証拠選択を可能にする。
• 単一ホップの質問にも対応できるよう、初期文書から自己ループを許容することで、エンドツーエンドで適応可能なフレームワークを実現する。

実験結果

リサーチクエスチョン

• RQ1 共有されるエンティティに基づいて、一つの証拠文書から別の文書に「ホップ」できるようにすることで、エンティティ中心の検索がマルチホップQAパフォーマンスを向上させられるか？
• RQ2 BERTからの文脈に即したエンティティ表現を用いることで、従来のクエリ再表現やbag-of-words手法に比べ、より優れた証拠検索が達成できるか？
• RQ3 HotpotQAで学習したモデルが、Wikihopのような他のマルチホップデータセットにおいてゼロショット検索に一般化できるか？
• RQ4 エンティティリンクとマルチホップ証拠連鎖は、簡単な質問と難しい質問の間のパフォーマンスギャップをどの程度縮小できるか？
• RQ5 固定されたQAリーダーモデルを用いる場合、検索品質は全体のQAパフォーマンスにどの程度寄与しているか？

主な発見

• 提案手法は、ベースラインQAモデルの微調整なしに、HiddenテストセットにおいてHotpotQAで10.59の絶対的F1スコア向上を達成した。
• Wikihopデータセットにおいて、ゼロショット設定でBM25および最先端のBERTリランカー（Nogueira and Cho, 2019）を上回り、トップ5検索で41%の精度を達成した。
• HotpotQAの難易度の高いサブセットでは、F1スコアが25.9%から43.2%に向上し、困難なマルチホップ質問において顕著な向上を示した。
• エンティティ中心のアプローチにより、質問と答えの証拠文書の間の語彙的類似度依存性が顕著に低下し、ブリッジエンティティを用いて効果的に検索を誘導できた。
• モデルは優れた一般化能力を示し、そのデータセットでの微調整なしに、Wikihopで最先端のゼロショットパフォーマンスを達成した。
• アブレーションスタディにより、エンティティリンクとマルチホップリランクの両方が不可欠であることが確認され、いずれかを削除するとパフォーマンスが著しく低下した。