[論文レビュー] Markov Logic Networks for Natural Language Question Answering

Tushar Khot, Niranjan Balasubramanian+4 more|arXiv (Cornell University)|Jul 10, 2015

Topic Modeling参考文献 17被引用数 8

ひとこと要約

この論文では、小学校の理科教科書から抽出されたノイズが多く不完全な知識の上での推論を向上させるための、自然言語質問応答のための新規マルコフ論理ネットワーク（MLN）フレームワークであるPralineを提案する。語彙的アライメントと推論制御を統合することで、従来のMLN手法に比べ15%の精度向上と10倍の高速化を達成し、直接的な規則のグラウンドイングやエンティティ解決に基づくアプローチを上回る性能を示した。

ABSTRACT

Our goal is to answer elementary-level science questions using knowledge extracted automatically from science textbooks, expressed in a subset of first-order logic. Given the incomplete and noisy nature of these automatically extracted rules, Markov Logic Networks (MLNs) seem a natural model to use, but the exact way of leveraging MLNs is by no means obvious. We investigate three ways of applying MLNs to our task. In the first, we simply use the extracted science rules directly as MLN clauses. Unlike typical MLN applications, our domain has long and complex rules, leading to an unmanageable number of groundings. We exploit the structure present in hard constraints to improve tractability, but the formulation remains ineffective. In the second approach, we instead interpret science rules as describing prototypical entities, thus mapping rules directly to grounded MLN assertions, whose constants are then clustered using existing entity resolution methods. This drastically simplifies the network, but still suffers from brittleness. Finally, our third approach, called Praline, uses MLNs to align the lexical elements as well as define and control how inference should be performed in this task. Our experiments, demonstrating a 15\% accuracy boost and a 10x reduction in runtime, suggest that the flexibility and different inference semantics of Praline are a better fit for the natural language question answering task.

研究の動機と目的

• 小学校の理科教科書から抽出された不完全でノイズの多い知識の上での質問応答のための推論の課題に対処すること。
• 理科ルールの複雑さと構造的特徴を考慮した上で、マークフ・ロジックネットワーク（MLN）を自然言語QAに効果的に適用する方法を調査すること。
• 長く複雑なルールの推論において、過剰なグラウンドイングや脆弱性を示す従来のMLN定式化の限界を克服すること。
• 制御可能で非循環的な推論と語彙的推論をサポートする、より柔軟で取り扱いやすいMLNベースのフレームワークを設計すること。

提案手法

• Pralineは、イベントとエンティティをエージェント、原因、有効化などの意味的述語を用いて再帰的ネオ・デイヴィッドソン表現で表現する、確率的述語論理節として理科ルールをモデル化する。
• 表面形の意味的同等性（例：'厚い毛皮'と'より厚い毛皮'）やエンティティの含意（例：'キツネ'は'ある動物'を含意する）を処理するため、テキスト帰納に基づく語彙的推論コンponentを導入する。
• 循環的推論チェーンを防ぐために、非循環性制約を課す。
• 誤りでない限り真とされない（FUP）制約を適用し、支持されていない結論が推論されないようにすることで、誤った推論を低減する。
• インクリメンタルでルール連鎖型の推論を採用：1つのルールを1回ずつ適用し、未使用の前提事実と新たに導出された結論に基づいて次の最良のルールを選択する。
• 語彙的要素と推論制御の統合により、推論とアライメントが相互に情報交換を行う、統合された確率的モデルを実現する。

実験結果

リサーチクエスチョン

• RQ1 知識がノイズが多く不完全な状況下で、マークフ・ロジックネットワーク（MLN）を自然言語QAに効果的に適用する方法は何か？
• RQ2 直接的な規則のグラウンドイングやエンティティ解決による簡略化を用いる場合の主な限界は何か？
• RQ3 語彙的推論と推論制御の統合が、QAのパフォーマンスと効率にどのように寄与するか？
• RQ4 非循環性と誤りでない限り真でない（FUP）制約が、QAタスクにおける推論の安定性と正確性をどの程度向上させるか？
• RQ5 柔軟でハイブリッドなMLN定式化は、標準的なMLNアプローチに比べ、精度と実行時間の両面で優れていると言えるか？

主な発見

• PralineはベースラインのMLN手法に比べ15%の精度向上を達成し、Dev-108では48.8%、Unseen-68では46.3%の精度を記録し、FO-MLNやER-MLNを大きく上回った。
• 1問あたりの平均推論時間を、FO-MLNの280秒から17秒に短縮し、10倍の高速化を達成した。
• インクリメンタルなルール連鎖と動的ルール選択を適用することで、Dev-108では48.8%から50.3%、Unseen-68では52.7%に精度が向上し、多段階推論の利点が明確に示された。
• 非循環性制約を削除した場合、特に複数のルールを連鎖して使用する際、性能が著しく低下した。これは、循環的推論を防ぐために非循環性制約が極めて重要であることを示している。
• 単一のルールを使用する場合、誤りでない限り真でない（FUP）制約の影響が非循環性制約よりも顕著で、誤検出の低減において中心的な役割を果たしていることがわかった。
• 推論とアライメントの両方を統合的に制御できるフレームワークの特性により、語彙的変異や含意を効果的に処理する、より強固で正確な推論が可能になった。