[論文レビュー] Knowledge Based Machine Reading Comprehension

Yibo Sun, Daya Guo+5 more|arXiv (Cornell University)|Sep 12, 2018

Topic Modeling参考文献 23被引用数 3

ひとこと要約

本論文は、ドキュメント由来の知識と外部知識の三項対（主語-述語-目的語）を用いた推論を要する、新しいタスクである知識ベース機械読解（KBMRC）を紹介する。著者らは40,047件の質問・回答ペairのデータセットを構築し、Freebase や NELL のような外部知識ベースを活用する質問応答モデルと質問生成モデルを統合したフレームワークを提案。ベースラインモデル（例：BiDAF）と比較して、外部知識ベースの統合により精度が向上することを示している。

ABSTRACT

Machine reading comprehension (MRC) requires reasoning about both the knowledge involved in a document and knowledge about the world. However, existing datasets are typically dominated by questions that can be well solved by context matching, which fail to test this capability. To encourage the progress on knowledge-based reasoning in MRC, we present knowledge-based MRC in this paper, and build a new dataset consisting of 40,047 question-answer pairs. The annotation of this dataset is designed so that successfully answering the questions requires understanding and the knowledge involved in a document. We implement a framework consisting of both a question answering model and a question generation model, both of which take the knowledge extracted from the document as well as relevant facts from an external knowledge base such as Freebase/ProBase/Reverb/NELL. Results show that incorporating side information from external KB improves the accuracy of the baseline question answer system. We compare it with a standard MRC model BiDAF, and also provide the difficulty of the dataset and lay out remaining challenges.

研究の動機と目的

• 既存のMRCデータセットが表面的な文脈一致に依存するという限界を是正すること。
• ドキュメントおよび外部知識ベースからの構造化された知識を用いた推論を要する、新しい機械読解タスク「知識ベースMRC」の開発。
• 答えの理解にドキュメントおよび外部知識の三項対（主語-述語-目的語）が必要となる、大規模で手作業でアノテートされた40,047例のデータセットの構築。
• 推論性能と解釈可能性の向上を目的とした、質問応答と質問生成の二重モデルフレームワークの設計および評価。

提案手法

• KBMRCタスクは、質問、ドキュメント由来の知識ベース（kb^d）、および任意の外部知識ベース（kb^e）で定義され、両方とも三項対形式（主語、述語、目的語）で表現される。
• WebAssertionsに基づき、kb^dの三項対からの正しい答えの手作業アノテーションを実施した、40,047件の新規データセットを構築。
• 質問応答モデルは、質問と答え表現のベクトル空間における意味的関連性に基づいて候補回答のスコアを算出する。
• 質問生成モデルは、候補回答を条件とした生成された質問と元の質問との意味的類似度を測定することで、候補をスコア化する。
• ElasticSearchを用いた検索により、Freebase、ProBase、NELL、ReVerbといった外部知識ベースを統合し、推論性能を向上。
• 複数のモデル（例：PCNet、KVMemNet、QGNet）の結果をアンサンブルスコアリングすることで、性能向上を実現。

実験結果

リサーチクエスチョン

• RQ1 文書の文脈を超えて外部知識ベースを統合することで、機械読解システムの性能を向上させることができるか？
• RQ2 構造化された知識三項対（主語-述語-目的語）を用いることで、MRCにおける推論性能と解釈可能性はどの程度向上するか？
• RQ3 質問応答と質問生成を統合した二重モデルフレームワークは、知識ベースMRCにおいてどの程度有効か？
• RQ4 現在の知識ベースMRCモデルの主な失敗モードや限界は何か、特に共参照解消と長文エンティティマッチングに関するものであるか？
• RQ5 NELL や ReVerb、Freebase などの複数の外部知識ベースを統合することで、KBMRCにおける性能と耐障害性はどの程度向上するか？

主な発見

• NELL や ReVerb などの外部知識ベースを統合することで、マッチングベースおよび質問生成ベースの両モデルの性能が向上し、PCNet や KVMemNet とアンサンブルした際には、それぞれ最大1.5%および0.8%の絶対的向上が見られた。
• QGNet は BLEU スコア16.3、P@1 41.5 を達成し、Seq2Seq（BLEU 11.2、P@1 41.3）を上回った。これは、頻度の低い語の再現性が優れていることを示している。
• QGNet と KVMemNet を組み合わせることで、P@1 の精度が64.3%に達し、生成モデルと識別モデルが効果的に補い合えることが示された。
• 誤差解析から、共参照解消と名前付きエンティティ認識が、特に主語が代名詞や長文エンティティの場合の質問-キーワードマッチング向上に重要であることが明らかになった。
• ElasticSearch を用いた外部KBの検索は、部分的エンティティマッチングや曖昧さ（例：「ルイジアナ」を州と会社の両方で解釈）の問題を抱えることが多く、より良い曖昧性解消機構の導入が求められる。