[論文レビュー] Grape: Knowledge Graph Enhanced Passage Reader for Open-domain Question Answering

Mingxuan Ju, Wenhao Yu+3 more|arXiv (Cornell University)|Oct 6, 2022

Topic Modeling被引用数 6

ひとこと要約

GraPeは、質問-通過のエンティティペアから局所的な二部グラフを構築し、Wikidataからの関係的知識と読解モデルの文脈表現を統合するための知識グラフ拡張型通過読み取り器を提案する。このアプローチにより、最先端の読解モデルを上回る最大2.2ポイントの正確一致（EM）スコア向上が達成され、特に事実関連の例で顕著な向上が見られ、推論オーバーヘッドは無視できるほど小さい。

ABSTRACT

A common thread of open-domain question answering (QA) models employs a retriever-reader pipeline that first retrieves a handful of relevant passages from Wikipedia and then peruses the passages to produce an answer. However, even state-of-the-art readers fail to capture the complex relationships between entities appearing in questions and retrieved passages, leading to answers that contradict the facts. In light of this, we propose a novel knowledge Graph enhanced passage reader, namely Grape, to improve the reader performance for open-domain QA. Specifically, for each pair of question and retrieved passage, we first construct a localized bipartite graph, attributed to entity embeddings extracted from the intermediate layer of the reader model. Then, a graph neural network learns relational knowledge while fusing graph and contextual representations into the hidden states of the reader model. Experiments on three open-domain QA benchmarks show Grape can improve the state-of-the-art performance by up to 2.2 exact match score with a negligible overhead increase, with the same retriever and retrieved passages. Our code is publicly available at https://github.com/jumxglhf/GRAPE.

研究の動機と目的

• 最先端の読解モデルが複雑なエンティティ関係を捉えられず、事実と異なる答えを出す問題を解決すること。
• Wikidataのような知識グラフ（KG）からの構造的事実知識を統合することで、オープンドメインQAにおける読解モデルの性能を向上させること。
• 大規模KGにおける推論の非効率性を回避するため、局所的かつ効率的なグラフ構築手法を設計すること。
• KGからの関係的知識が、特に事実に基づいた質問において、答えの正確性を顕著に向上させられることを示すこと。
• 性能向上が一般表現学習の恩恵ではなく、事実関係的知識の活用に起因することを検証すること。

提案手法

• 各質問-通過ペアに対して、GraPeは質問と通過からのエンティティをノードとし、Wikidataからの事実関係をエッジとする局所的な二部グラフを構築する。
• エンティティ表現は、読解モデルの中間層の隠れ状態から初期化され、文脈情報を保持する。
• 関係に敏感なグラフニューラルネットワーク（GNN）がエッジに沿ってメッセージをアグリゲートし、文脈と関係的事実の両方をエンコードした強化されたノード表現を学習する。
• 更新されたノード表現は、読解モデルの隠れ状態に再統合され、答え予測の精緻化が行われる。
• 固定のリtrieverと取得済みの通過を前提として、エンドツーエンドで適用され、最先端読解モデルとの公平な比較が保証される。
• グラフ構築は、質問と答えに関連するエンティティに限定され、余分な関係や無関係な関係はフィルタリングされる。

実験結果

リサーチクエスチョン

• RQ1 知識グラフ（KG）からの構造的事実知識を統合することで、オープンドメインQA読解モデルの性能を向上させられるか？
• RQ2 Wikidataからの局所的・エンティティ特化型グラフの使用は、テキスト文脈のみに依存する場合よりも、より正確な答え予測を可能にするか？
• RQ3 GraPeの性能向上の多くが、一般表現学習ではなく、事実関係的知識に起因する割合はどの程度か？
• RQ4 GraPeの向上効果は、取得済み通過数の増加に伴いスケーリングするか？また、少ない通過数でも同等の性能を達成できるか？
• RQ5 GraPeの利点が、KG内の事実関係が答えを直接裏付ける質問において最も顕著に現れるか？

主な発見

• GraPeは、NQ、TriviaQA、WebQの3つのオープンドメインQAベンチマークで、最先端のFiDモデルを最大2.2ポイントの正確一致（EM）スコア向上で上回った。
• Wikidataに事実トリプルが存在する質問サブセットでは、WebQ、TriviaQA、NQでそれぞれ1.6、1.2、0.5ポイントのEM向上を達成し、FiDに対する性能向上をほぼ2倍にまで高めた。
• 性能向上は特に事実関連の例で顕著で、WebQの事実関連サブセットでは3.7ポイントの大幅な改善が確認され、本手法が事実関係的知識を有効に活用していることが裏付けられた。
• 25個以上の通過が取得されている場合、GraPeは通過数を半分に減らしてもFiDと同等の性能を達成し、より高いサンプル効率を示した。
• 事例スタディにより、モデルが特定のKG事実（例：「Arges」が「Cyclopes」のメンバーであること、または「UK」が「Parliament of UK」に適用されること）を活用してFiDの誤りを是正していることが確認された。
• 局所的グラフ上で動作し、既存の読解モデル表現を再利用するため、計算オーバーヘッドは無視できるほど小さい。