[論文レビュー] Question answering via integer programming over semi-structured knowledge

Daniel Khashabi, Tushar Khot+4 more|arXiv (Cornell University)|Jul 9, 2016

Topic Modeling参考文献 33被引用数 22

ひとこと要約

本稿では、マルコフ論理ネットワークを用いた先行の構造的手法よりも14%、以前のILP定式化よりも17.7%の向上を達成する、半構造的知識ベースを活用した多段階的で構造的な推論を可能にする整数線形計画法（ILP）フレームワークを提案する。これは、非構造的手法と組み合わせた場合に優れた頑健性と性能を示す。

ABSTRACT

Answering science questions posed in natural language is an important AI challenge. Answering such questions often requires non-trivial inference and knowledge that goes beyond factoid retrieval. Yet, most systems for this task are based on relatively shallow Information Retrieval (IR) and statistical correlation techniques operating on large unstructured corpora. We propose a structured inference system for this task, formulated as an Integer Linear Program (ILP), that answers natural language questions using a semi-structured knowledge base derived from text, including questions requiring multi-step inference and a combination of multiple facts. On a dataset of real, unseen science questions, our system significantly outperforms (+14%) the best previous attempt at structured reasoning for this task, which used Markov Logic Networks (MLNs). It also improves upon a previous ILP formulation by 17.7%. When combined with unstructured inference methods, the ILP system significantly boosts overall performance (+10%). Finally, we show our approach is substantially more robust to a simple answer perturbation compared to statistical correlation methods.

研究の動機と目的

• 単純な事実検索をはるかに超える複雑な推論を要するオープンドメイン科学的質問応答の課題に対処すること。
• 非構造的テキスト上の統計的相関に依存する既存のシステムの限界を克服すること。
• 半構造的知識ベースを用いて複数の事実を統合し、多段階の推論を実行できる構造的推論アプローチを開発すること。
• 相関に基づく手法と比較して、答えの摂動に対してより頑健であることを実現すること。
• 構造的ILP推論と非構造的手法を統合することで、顕著な性能向上が達成されることを示すこと。

提案手法

• 質問応答を整数線形計画法（ILP）として定式化することで、半構造的知識ベース上で構造的推論を可能にする。
• テキストから半構造的知識ベースを構築し、機械処理可能な関係的フォーマットで事実を表現する。
• 論理的制約と推論規則をILP定式化における線形制約としてエンコードし、多段階的推論をモデル化する。
• 既知の事実と質問の制約との整合性を最大化することで、最適な答えをILPソルバーが特定する。
• 非構造的推論モデル（例：ニューラルネットワーク）とILPシステムを統合し、構造的推論と統計的パターンマッチングを組み合わせる。
• 答えの摂動テストを適用し、ILPアプローチの頑健性を純粋な統計的モデルと比較して評価する。

実験結果

リサーチクエスチョン

• RQ1 ILPベースのシステムは、マルコフ論理ネットワークのような既存の構造的推論手法を、オープンドメイン科学的質問応答において上回ることができるか？
• RQ2 同じタスクにおいて、提案されたILP定式化は、以前のILPベースのアプローチと比較してどのように性能を発揮するか？
• RQ3 構造的ILP推論と非構造的推論手法を統合することで、全体のシステム精度がどの程度向上するか？
• RQ4 統計的相関に基づく手法と比較して、ILPシステムは答え空間における微小な摂動に対してどの程度頑健であるか？
• RQ5 ILPフレームワークは、複数の事実の統合を要する多段階的推論タスクを効果的に処理できるか？

主な発見

• 提案されたILPシステムは、マルコフ論理ネットワークを用いた最良の先行構造的推論手法よりも14%の絶対的向上を達成した。
• 以前のILP定式化と比較して17.7%の性能向上を示し、現在のILP設計の有効性を裏付けた。
• 非構造的推論手法と統合した場合、システム全体の性能が10%向上し、構造的アプローチと統計的アプローチの強い相乗効果を示した。
• 相関に基づく手法と比較して、答えの摂動に対して著しく高い頑健性を示し、より高い推論の整合性を示した。
• 結果から、ILPによる構造的推論が、単純な検索を超える複雑な複数事実を要する科学的質問に対して有効であることが確認された。