[論文レビュー] Incorporating External Knowledge into Machine Reading for Generative Question Answering

Bin Bi, Chen Wu+4 more|arXiv (Cornell University)|Sep 6, 2019

Topic Modeling参考文献 26被引用数 5

ひとこと要約

本稿では、質問、本文、語彙、外部知識の4つのソースから動的に選択することで自然言語の答えを生成するニューラルモデルKEAGを提案する。KEAGはソース選択器と確率的 fact 選択を用い、シンボリック知識を効果的に統合することで、生成的QAベンチマークにおいて顕著に高い回答品質を達成し、知識に依存しないモデルや既存の知識に配慮したモデルを上回る性能を発揮する。

ABSTRACT

Commonsense and background knowledge is required for a QA model to answer many nontrivial questions. Different from existing work on knowledge-aware QA, we focus on a more challenging task of leveraging external knowledge to generate answers in natural language for a given question with context. In this paper, we propose a new neural model, Knowledge-Enriched Answer Generator (KEAG), which is able to compose a natural answer by exploiting and aggregating evidence from all four information sources available: question, passage, vocabulary and knowledge. During the process of answer generation, KEAG adaptively determines when to utilize symbolic knowledge and which fact from the knowledge is useful. This allows the model to exploit external knowledge that is not explicitly stated in the given text, but that is relevant for generating an answer. The empirical study on public benchmark of answer generation demonstrates that KEAG improves answer quality over models without knowledge and existing knowledge-aware models, confirming its effectiveness in leveraging knowledge.

研究の動機と目的

• 既存の生成的QAモデルが単に本文のテキストに依存しており、常識的知識や背景知識を統合できないという限界を解消すること。
• 知識ベースからの外部知識を、本文に明示的に記載されていなくても、答え生成中に選択的に利用できるニューラルアーキテクチャを設計すること。
• 意味的関連性に基づいて、いつどの知識事実を使用するかを学習することで、流暢で抽象的（abstractive）な答えを生成できるようにすること。
• 各生成された語の出典を追跡することで解釈可能性を提供し、答えにおける知識使用の根拠を明示すること。

提案手法

• KEAGは、各デコードステップで4つのソース（質問、本文、語彙、知識）のうち、次の語をどのソースから得るかを決定するためのソース選択器を用い、離散的潜在変数を導入する。
• 知識統合のため、KEAGは質問とコンテキストの意味的関連性に基づいて知識ベースから関連する事実を事前に取得する。
• 潜在変数を備えた確率的事実選択器により、取得した事実集合から最も関連性の高いものをサンプリングし、離散的選択にもかかわらず微分可能に学習可能となる。
• モデルは、事実選択のための離散的潜在変数を含む、全アーキテクチャをエンドツーエンドで学習可能な、サンプリングに基づく微分可能学習手法を採用する。
• 生成された語は選択されたソースから得られ、語彙の語は機能語や文構造を補完することで流暢さを確保する。
• モデルは、4つのソースからの情報を動的に統合するマルチソースアテンションメカニズムを備えた、シーケンス・トゥ・シーケンスモデリングの拡張を採用する。

実験結果

リサーチクエスチョン

• RQ1 生成的QAモデルは、外部のシンボリック知識を効果的に統合することで、単に本文テキストに依存するモデルよりも優れた回答を生成できるか？
• RQ2 ニューラルモデルは、答え生成中に、外部知識とテクストコンテキストのどちらを使用するかを動的に決定できるか？
• RQ3 明示的な知識統合は、抽象的QAにおける回答の流暢さ、正しさ、解釈可能性にどのように寄与するか？
• RQ4 離散的潜在変数を用いた事実選択のための、ニューラル生成フレームワークで微分可能な学習手法を設計できるか？

主な発見

• KEAGはMARCOベンチマークでRouge-Lスコア51.68を達成し、知識に依存しないモデルや既存の知識に配慮したモデルを顕著に上回る。
• 補足的知識を削除するとRouge-Lが49.98に低下し、外部知識が回答品質向上の主要因であることが示された。
• 事実選択のための潜在指標を除去するとRouge-Lが5%低下し、Bleu-1が6%低下し、微分可能学習手法の有効性が確認された。
• ソース選択器を削除すると性能が急激に低下し、Rouge-Lが38.33にまで低下し、その重要性が裏付けられた。
• 可視化の結果、KEAGは「personality」を知識に、「disorder」を本文に、機能語を語彙に適切に割り当てており、意味的・文法的正しさが保証されている。
• モデルは、流暢であるだけでなく、外部知識からの根拠が明示的に出力に反映された、内容的にも正しい回答を生成している。