[論文レビュー] Knowledge Guided Text Retrieval and Reading for Open Domain Question Answering

Sewon Min, Danqi Chen+2 more|arXiv (Cornell University)|Nov 10, 2019

Topic Modeling参考文献 40被引用数 84

ひとこと要約

tldr: 本論文は、パッセージのグラフを取得・読解する知識ガイド型のオープンドメインQAシステムを提案し、関連パッセージ間で情報を統合するグラフ対応リーダを用いることで、テキストのみの基準と比較してカバレージと精度を向上させる。

ABSTRACT

We introduce an approach for open-domain question answering (QA) that retrieves and reads a passage graph, where vertices are passages of text and edges represent relationships that are derived from an external knowledge base or co-occurrence in the same article. Our goals are to boost coverage by using knowledge-guided retrieval to find more relevant passages than text-matching methods, and to improve accuracy by allowing for better knowledge-guided fusion of information across related passages. Our graph retrieval method expands a set of seed keyword-retrieved passages by traversing the graph structure of the knowledge base. Our reader extends a BERT-based architecture and updates passage representations by propagating information from related passages and their relations, instead of reading each passage in isolation. Experiments on three open-domain QA datasets, WebQuestions, Natural Questions and TriviaQA, show improved performance over non-graph baselines by 2-11% absolute. Our approach also matches or exceeds the state-of-the-art in every case, without using an expensive end-to-end training regime.

研究の動機と目的

• テキスト照合を超えた関連パッセージを見つけるために知識ベースに導かれた検索を活用し、オープンドメインQAのカバレージを向上させる。
• 関連パッセージのグラフ上でのクロスパッセージ融合を学習することで回答精度を向上させる。
• パッセージを横断して情報を統合するために、グラフベースの検索コンポーネントとグラフ対応リーダを統合する。

提案手法

• Wikidataの関係とWikipediaでの共起を介して種パッセージを拡張し、パッセージグラフを構築する。種はエンティティ連携（entity linking）とTF-IDF検索によって得る。
• GraphReader（BERTベースのリーダー）を用いて初期のパッセージ表現を生成し、グラフエッジに沿って情報を伝播するM個の融合層を介してそれらを更新する。
• 関係を学習可能な埋め込みで表現し、関係認識型またはバイナリ融合方式を用いて隣接するパッセージ表現を融合する。
• パッセージ表現上の学習済みソフトマックスを用いて証拠パッセージを選択し、選択されたパッセージ内で回答スパンを予測する。

実験結果

リサーチクエスチョン

• RQ1 知識ガイド付きのパッセージグラフ検索は、テキストマッチのベースラインと比べてオープンドメインQAにおける証拠カバレッジと回答精度を向上させるか？
• RQ2 関連パッセージ間で情報を伝播するグラフ対応リーダーは、独立にパッセージを処理するリーダーよりも優れているか？
• RQ3 グラフ内の関係タイプが全体のQA性能に与える寄与はどの程度か？
• RQ4 提案手法は、標準的なオープンドメインQAデータセットに対して最先端のパイプライン型およびエンドツーエンドQAモデルとどう比較されるか？
• RQ5 グラフベースの検索と読解の利点を実現するためにエンドツーエンド学習は必要か？

主な発見

• GraphRetrieverは、WebQuestions、Natural Questions、TriviaQAの各データセットで、テキストマッチ検索を絶対値で2–11%上回る。
• GraphReaderは一貫してParReaderのベースラインを絶対値で1–5%上回る。
• Wikidataベースのクロスグラフ関係を用いると、バイナリ（関係非依存）融合に比べて控えめな利得が得られる。
• 最良のGraphRetriever + GraphReader構成は、評価データセットで最先端のパイプラインモデルと同等かそれ以上の性能を示す。
• グラフベースのアプローチは、高価なエンドツーエンド学習を必要とせずに顕著な改善をもたらす。