[論文レビュー] Question Answering on Freebase via Relation Extraction and Textual Evidence

Kun Xu, Siva Reddy+3 more|arXiv (Cornell University)|Mar 3, 2016

Topic Modeling参考文献 52被引用数 16

ひとこと要約

本稿では、Freebase上のニューラル関係抽出とWikipediaからのテクスト的証拠を組み合わせることで、複雑で構成的な質問の精度を向上させるハイブリッド質問応答フレームワークを提案する。Freebase上でエンティティリンキングと関係抽出を共同で行い、その後Wikipediaの文を用いて候補を検証することで、WebQuestionsベンチマーク上でF1スコア53.3%を達成し、表現力とデータ不足の制限を補うために非構造化テキストを活用することで、先行する最先端手法を上回る性能を発揮した。

ABSTRACT

Existing knowledge-based question answering systems often rely on small annotated training data. While shallow methods like relation extraction are robust to data scarcity, they are less expressive than the deep meaning representation methods like semantic parsing, thereby failing at answering questions involving multiple constraints. Here we alleviate this problem by empowering a relation extraction method with additional evidence from Wikipedia. We first present a neural network based relation extractor to retrieve the candidate answers from Freebase, and then infer over Wikipedia to validate these answers. Experiments on the WebQuestions question answering dataset show that our method achieves an F_1 of 53.3%, a substantial improvement over the state-of-the-art.

研究の動機と目的

• 『最高』や『母親』といった複数の制約を含む構成的質問を処理する課題に取り組むこと、これは純粋な関係抽出手法では困難である。
• Wikipediaを外部証拠として用いることで、学習におけるデータ不足を緩和すること。
• 複雑な意味解析や大規模なアノテート済みデータセットに依存せずに、関係抽出モデルのロバスト性と表現力を向上させること。
• 構造化知識ベースと非構造化テキストの間のギャップを埋めることで、両者を統合的に推論可能にする。
• 特に部分語彙的構成性を示す質問に適した、スケーラブルでエンドツーエンドのパイプラインを構築すること。

提案手法

• エンティティリンキングと関係抽出を共同で行うために、構文的および文脈的特徴を活用したマルチチャネル畳み込みニューラルネットワーク（MCCNN）を用いる。
• 構文に配慮したアーキテクチャにより、質問のエンティティと候補関係を処理し、依存関係および単語レベルの特徴を捉える。
• エンティティ-関係構成の共同推論により候補回答を生成し、Freebaseからの潜在的解答のランク付きリストを出力する。
• 2段階目の回答精錬モデルは、トピックエンティティのWikipediaページを用いて、支援文を取得する。
• 語彙的および意味的類似度の重なりを用いて、候補を証拠文と照合することで、誤った候補をフィルタリングする。
• 構文に基づくパターンを用いて複雑なクエリを部分質問に分解することで、単一関係および複数関係の質問を処理できるようにパイプラインを設計した。

実験結果

リサーチクエスチョン

• RQ1 Wikipediaからのテキスト的証拠は、複雑で構成的な質問に対して、Freebaseベースの関係抽出による質問応答の精度を向上させるか？
• RQ2 構文に配慮したニューラルネットワークを用いた共同エンティティリンキングと関係抽出モデルは、低データ環境下でも有効か？
• RQ3 非構造化テキスト証拠を統合することで、関係抽出における表現力不足に起因する誤りはどの程度低減されるか？
• RQ4 構造化KBを最初に処理し、その後に非構造化テキストを用いる2段階推論パイプラインは、エンドツーエンドの意味解析や純粋な知識ベース手法を上回るか？
• RQ5 『母親』といった語彙的構成性（例：両親かつ性別制約）を含む質問は、本手法でどのように処理されるか？

主な発見

• 提案手法はWebQuestionsベンチマークでF1スコア53.3%を達成し、以前の最先端手法を大きく上回った。
• Wikipediaのテキスト的証拠の統合により、『最高』や『母親』といった複数制約を含む質問での誤りが顕著に低減された。
• MCCNNベースの関係抽出器はロジスティック回帰ベースラインを上回り、関係抽出タスクにおける未学習文脈に対してもよりロバストであった。
• 非構造化推論を用いなくても、本手法は以前のSOTAモデルを7 F1ポイント上回った。これは、ニューラル関係抽出部の強力さを示している。
• 2段階パイプラインは、構文に基づくパターンを用いて質問を分解し、証拠文による回答検証を実行することで、構成的質問を効果的に処理できた。
• 『イザベル女王の母親は誰ですか？』といった、複数の関係や暗黙の制約を含む質問に対しても、Wikipediaからの性別および家族関係の手がかりを活用することで、優れた一般化性能を示した。