[論文レビュー] A Logic-based Approach for Recognizing Textual Entailment Supported by Ontological Background Knowledge

Andreas Wotzlaw, Ravi Coote|arXiv (Cornell University)|Oct 18, 2013

Natural Language Processing Techniques参考文献 36被引用数 4

ひとこと要約

本論文は、WordNet、YAGO、OpenCycなどのソースから動的に取得されたオントロジカルな背景知識を統合することで、深層および얕은意味解析と1階論理的推論を組み合わせた論理ベースのテキスト帰属関係認識（RTE）システムを提示する。このシステムはRTEチャレンジの開発セットで67%の正答率を達成し、帰属関係検出の正確性を向上させるために、細分化された多様な知識源統合の価値を示している。

ABSTRACT

We present the architecture and the evaluation of a new system for recognizing textual entailment (RTE). In RTE we want to identify automatically the type of a logical relation between two input texts. In particular, we are interested in proving the existence of an entailment between them. We conceive our system as a modular environment allowing for a high-coverage syntactic and semantic text analysis combined with logical inference. For the syntactic and semantic analysis we combine a deep semantic analysis with a shallow one supported by statistical models in order to increase the quality and the accuracy of results. For RTE we use logical inference of first-order employing model-theoretic techniques and automated reasoning tools. The inference is supported with problem-relevant background knowledge extracted automatically and on demand from external sources like, e.g., WordNet, YAGO, and OpenCyc, or other, more experimental sources with, e.g., manually defined presupposition resolutions, or with axiomatized general and common sense knowledge. The results show that fine-grained and consistent knowledge coming from diverse sources is a necessary condition determining the correctness and traceability of results.

研究の動機と目的

• 論理的推論を用いて、堅牢でモジュール型かつ適応可能なテキスト帰属関係認識（RTE）システムの開発。
• WordNet、YAGO、OpenCycなどの外部オントロジーから得られる多様で問題に適した背景知識の統合により、RTEの正確性を向上させること。
• より高い耐障害性とカバー範囲を実現するため、深層解析と統計モデルを組み合わせたハイブリッドアプローチによる意味解析の強化。
• モデル理論的意味論と形式的論理的表現を用いることで、推論結果の正しさとトレーサビリティを保証すること。
• 前提条件の解消と公理化された常識を含む細分化された知識の統合により、既存のRTEシステムの限界を克服すること。

提案手法

• 本システムは、広域カバレッジを持つHPSG文法（ERG）を用いた深層解析と、統計モデルによる支援による浅層解析を組み合わせたハイブリッド意味解析パイプラインを採用し、耐障害性を向上させている。
• 意味的表現は最小再帰的意味論（MRS）で生成され、形式的推論のための1階論理式に等価性を含む（FOLE）に変換される。
• 背景知識は、WordNet、YAGO、OpenCycなどの外部ソースから自動抽出され、手動で定義された前提条件の公理と一般知識とともに統合される。
• 名詞句の意味と意味的役割に基づき、ドメイン固有の知識公理と一般知識公理を動的に生成・統合する3段階の統合プロセスが採用されている。
• モデル理論的技術と自動推論ツールを用いて論理的推論が実行され、帰属関係は一貫性と妥当性のチェックによって決定される。
• 例えば、名詞句「価格の爆発」を、イベント、主体、関係述語を含む形式的FOLE公理に変換するなど、動的公理生成をサポートしている。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドな深層・浅層意味解析は、テキスト帰属関係認識の耐障害性と正確性をどのように向上させるか？
• RQ2 多様な知識源からのオントロジカルな背景知識の統合は、RTE推論の正しさとトレーサビリティをどの程度向上させるか？
• RQ3 YAGO や OpenCyc からの細分化された、公理的に構造化された知識（例：YAGO や OpenCyc）は、単一の知識ベースと比較して RTE のパフォーマンスにどのような影響を与えるか？
• RQ4 前提条件の解消、代名詞参照、語の意味のあいまいさ解消の誤りは、RTEにおける論理的推論の信頼性にどのように影響するか？
• RQ5 論理ベースのRTEシステムは、最先端のアプローチと同等のパフォーマンスを達成しつつ、解釈可能性とモularityを維持できるか？

主な発見

• 本システムはRTEチャレンジの開発セットで67%の正答率を達成し、他の論理ベースおよびディープラーニングアプローチと比較して競争力のあるパフォーマンスを示した。
• YAGO や OpenCyc からの多様な知識源のオントロジカルな知識統合が、推論の正しさを向上させ、複雑な意味的推論を可能にする上で極めて重要であった。
• 一貫性のない推論結果の主な原因は、前提条件の解消、代名詞参照、文法的導出の誤りであり、改善の鍵となる分野を示している。
• 語の意味のあいまいさ解消が主なボトルネックであった。意味解析器の意味と知識ベースの意味との不一致が、推論の信頼性を低下させた。
• システムのパフォーマンスは、最先端のアプローチの72%のベンチマークをわずかに下回っており、主に名前付きエンティティや意味的現象の処理が洗練されていないためである。
• アーキテクチャは拡張性を備えており、語の意味のあいまいさ解消、並び替え検出、話法レベルの代名詞参照解消、イベント記法を用いた時系列推論の計画的拡張が予定されている。