[論文レビュー] Enhancing Freebase Question Answering Using Textual Evidence.

Kun Xu, Yansong Feng+3 more|arXiv (Cornell University)|Mar 3, 2016

Topic Modeling参考文献 41被引用数 8

ひとこと要約

この論文では、神経的関係抽出パイプラインにWikipediaのテクスト的証拠を統合することで、Freebaseに基づく質問応答を向上させるハイブリッドアプローチを提案する。まず神経的モデルを用いてFreebaseから候補回答を抽出し、その後Wikipediaの証拠を用いてそれらを精査する。WebQuestionsで53.3のF1スコアを達成し、先行手法を顕著に上回る性能を発揮した。

ABSTRACT

Existing knowledge-based question answering systems often rely on small annotated training data. While shallow methods like information extraction techniques are robust to data scarcity, they are less expressive than deep understanding methods, thereby failing at answering questions involving multiple constraints. Here we alleviate this problem by empowering a relation extraction method with additional evidence from Wikipedia. We first present a novel neural network based relation extractor to retrieve the candidate answers from Freebase, and then develop a refinement model to validate answers using Wikipedia. We achieve 53.3 F1 on WebQuestions, a substantial improvement over the state-of-the-art.

研究の動機と目的

• 複数の制約を含む複雑な質問を処理できない知識ベースQAシステムの限界を解消すること。
• Wikipediaからの外部テキスト的証拠を活用することで、学習におけるデータ不足を克服すること。
• 浅い情報抽出手法が達成できる範囲を超えて、回答の正確性を向上させること。
• 自然言語的証拠を用いてFreebaseの回答を検証する精査メカニズムを開発すること。
• WebQuestionsベンチマークで最先端の性能を達成すること。

提案手法

• 質問の埋め込みを用いて、Freebaseから候補回答を抽出するための新しいニューラルネットワークベースの関係抽出器を訓練する。
• 各候補回答について、関連するWikipediaの本文を収集する。
• 質問と証拠テキストを比較することで、候補回答を検証するための精査モデルを導入する。
• 質問と証拠テキストの間でアテンション機構を用いて一致を図ることで、回答の信頼度を向上させる。
• 二段階のアーキテクチャとして、Freebaseの抽出とWikipediaベースの検証を統合する。
• 関係抽出と証拠に基づく検証の両方を共同最適化できる、エンド・ツー・エンドで学習可能なモデルである。

実験結果

リサーチクエスチョン

• RQ1 Wikipediaからの外部的テキスト的証拠は、Freebaseベースの質問応答の正確性を向上させることができるか？
• RQ2 神経的関係抽出器とWikipediaによる精査を組み合わせることで、複雑で複数の制約を含む質問をどれほど効果的に処理できるか？
• RQ3 証拠に基づく検証は、Freebase QAシステムにおける誤検出（誤った回答）をどの程度低減するか？
• RQ4 Wikipediaの統合は、WebQuestionsのようなオープンドメインの質問応答ベンチマークで性能を向上させるか？
• RQ5 限られたラベル付きデータがある状況で、二段階アプローチがエンド・ツー・エンドのニューラルモデルを上回るか？

主な発見

• 提案手法はWebQuestionsベンチマークで53.3のF1スコアを達成し、先行する最先端手法を顕著に上回った。
• Wikipediaの証拠統合は、複数の制約を含む複雑な質問に対して、特に回答の検証を顕著に向上させた。
• 神経的関係抽出器は、限られた学習データでもFreebaseからの候補回答抽出において優れた性能を示した。
• 自然言語的証拠を活用することで、精査モデルは誤った回答を効果的にフィルタリングし、幻覚や誤り率を低減した。
• 候補回答抽出の段階と、証拠に基づく検証の段階に分かれた二段階パイプラインは、単一段階のアプローチよりも効果的であることが判明した。
• 外部のテキスト的証拠が、知識ベースQAシステムにおけるデータ不足を補填できることを結果が裏付けた。