[論文レビュー] Answering Complex Questions Using Open Information Extraction

Tushar Khot, Ashish Sabharwal+1 more|arXiv (Cornell University)|Apr 19, 2017

Topic Modeling参考文献 18被引用数 15

ひとこと要約

この論文では、手動で整備された知識ベースに依存せずに、ノイズの多い自動抽出タプルを活用することで、複雑な初等的な科学の質問において最先端の構造的ソルバーよりも優れた性能を発揮する、オープン情報抽出（Open IE）に基づく推論システムであるTupleInfを提示する。最適化された整数線形プログラミング（ILP）フレームワークを用いて、複数の短い事実および関係的証拠を統合し、4年生の科学の質問で51.7％の精度を達成した（TableILPより11.8％高い）。また、推論時間を68.6％削減した。

ABSTRACT

While there has been substantial progress in factoid question-answering (QA), answering complex questions remains challenging, typically requiring both a large body of knowledge and inference techniques. Open Information Extraction (Open IE) provides a way to generate semi-structured knowledge for QA, but to date such knowledge has only been used to answer simple questions with retrieval-based methods. We overcome this limitation by presenting a method for reasoning with Open IE knowledge, allowing more complex questions to be handled. Using a recently proposed support graph optimization framework for QA, we develop a new inference model for Open IE, in particular one that can work effectively with multiple short facts, noise, and the relational structure of tuples. Our model significantly outperforms a state-of-the-art structured solver on complex questions of varying difficulty, while also removing the reliance on manually curated knowledge.

研究の動機と目的

• 手動で整備された知識ベースが利用できないリソースが乏しいドメインにおける、複雑で複数の事実を含む質問への対応の課題を解決すること。
• Open IEタプルの利用を、単純な照会質問を越えて、複数の事実および関係的推論を含む複雑な推論を支援するものへと拡張すること。
• ノイズ、重複、および自動抽出タプルにおける信頼できる結合ルールの欠如に対処できる、頑健な推論モデルの開発。
• オープンIEタプル上で簡素化されたILPベースの推論モデルが、複雑な科学QAタスクにおいて最先端の構造的ソルバーよりも優れた性能を発揮できることを実証すること。

提案手法

• 質問と回答のキーワードを用いてElasticSearchで取得した文から、Open IE v4を用いてドメイン関連のテキストから大規模でオープンボキャブラリーなタプル知識ベース（KB）を構築する。
• 複数のタプルを通じて質問語と答え語を接続する最適な部分グラフを探索する、新しいILPベースの推論モデル、TupleInfを適用する。この際、チェーン化よりも結合的証拠の重視を特徴とする。
• 従来のシステム（例：TableILP）よりも制約と変数を減らした簡素化されたILP定式化を採用し、より高速な推論とスケーラビリティの向上を実現する。
• 推論中に質問-回答ペアから即座にタプルを生成し、KBを動的に拡充する。
• フレーズのアライメントと意味的マッチングを活用し、表面的な表記が異なる場合でも、質問語を関連するタプルに結びつける。
• 情報検索（IR）ベースラインとTupleInfを組み合わせてアンサンブルシステムを構築し、損失なしの検索と構造的推論の相補性を活用する。

実験結果

リサーチクエスチョン

• RQ1 複数の文にまたがる複雑な、複数の事実を必要とする質問を、効果的に回答するためにOpen IEタプルを活用できるか？
• RQ2 整備済みの表と結合ルールに依存する構造的ソルバーよりも、ノイズの多いオープンボキャブラリーなタプル上でILPベースの推論モデルがどのように優れているか？
• RQ3 自動抽出タプル上で推論する際、より複雑なモデルに比べて簡素化されたILP定式化が優れた性能を発揮できるか？
• RQ4 Open IEベースの推論は、より高い学年レベルやドメイン外の設定にもどれほど一般化できるか？
• RQ5 複雑なQAにおいて、Open IEベースの推論と検索ベースの手法はどれほど相補的か？

主な発見

• TupleInfは、4年生の科学の質問で51.7％の精度を達成した。これは、同じベンチマークで39.9％の精度を記録したTableILPよりも顕著に優れており、手動で整備された知識が一切ない状態でも同様の結果を示した。
• 両システムに同一の知識（整備済みの表＋Open IEタプル）が与えられた場合でも、TupleInfは4年生の質問で11.8％の精度向上を達成し、優れた推論能力を示した。
• 制約と変数を減らした簡素化されたILP定式化のおかげで、TupleInfは全体の推論時間をTableILPと比較して68.6％短縮した。
• IRとTupleInfのアンサンブルは、4年生の質問で55.3％の精度を達成し、個々のコンponentやIR + TableILPアンサンブルを上回った。
• TupleInfは8年生の質問に対しても良好に一般化し、51.6％の精度を達成した。PMIなどの他のソルバーと組み合わせても、依然として競争力を持続した。
• 誤差解析の結果、損失のあるOpen IE抽出と、不一致するフレーズマッチングが主な失敗要因であることが判明した。今後の課題として、文脈に応じた抽出と分布的意味モデルの向上が示唆された。