[論文レビュー] LOREN: Logic Enhanced Neural Reasoning for Fact Verification.

Jiangjie Chen, Qiaoben Bao+5 more|arXiv (Cornell University)|Dec 25, 2020

Topic Modeling参考文献 34被引用数 4

ひとこと要約

LORENは、文を論理的推論ユニットに分解し、各ユニットをニューラル埋め込みを用いた質疑応答タスクとして扱い、論理に従う共同推論機構を用いて予測を統合する論理強化型ニューラル事実検証モデルを提案する。73.43%のFEVERスコアを達成し、中間的推論トレースにより解釈可能性が向上した。

ABSTRACT

Given a natural language statement, how to verify whether it is supported, refuted, or unknown according to a large-scale knowledge source like Wikipedia? Existing neural-network-based methods often regard a sentence as a whole. While we argue that it is beneficial to decompose a statement into multiple verifiable logical points. In this paper, we propose LOREN, a novel approach for fact verification that integrates both Logic guided Reasoning and Neural inference. The key insight of LOREN is that it decomposes a statement into multiple reasoning units around the central phrases. Instead of directly validating a single reasoning unit, LOREN turns it into a question-answering task and calculates the confidence of every single hypothesis using neural networks in the embedding space. They are aggregated to make a final prediction using a neural joint reasoner guided by a set of three-valued logic rules. LOREN enjoys the additional merit of interpretability -- it is easy to explain how it reaches certain results with intermediate results and why it makes mistakes. We evaluate LOREN on FEVER, a public benchmark for fact verification. Experiments show that our proposed LOREN outperforms other previously published methods and achieves 73.43% of the FEVER score.

研究の動機と目的

• 自然言語の文を、中心的なフレーズに注目した、より小さな検証可能な論理的ユニットに分解することで、事実検証を改善すること。
• 従来のニューラル手法が全体の文をモノリシックなユニットとして扱い、解釈可能性に欠けるという限界を是正すること。
• シンボリック論理規則とニューラル推論を統合することで、より強固で説明可能な予測を実現すること。
• 中間的推論ステップを公開することで、モデルの解釈可能性を高め、エラーの診断を可能にすること。
• 論理的整合性と透明性を保ちながら、FEVERベンチマークで最先端のパフォーマンスを達成すること。

提案手法

• LORENは、中心的なフレーズに基づいて与えられた文を複数の推論ユニットに分解し、検証可能な主張を分離する。
• 各推論ユニットは、ニューラルネットワークが埋め込み空間で信頼度スコアを計算する質問-応答タスクに変換される。
• ニューラル共同推論機構が、三値論理規則（支持、反論、不明）を用いて個々の仮説予測を統合する。
• 論理規則が複数の主張にわたる一貫性と論理的整合性を保証するように、統合プロセスをガイドする。
• 事前学習済みの文の埋め込みを活用して、文と証拠を符号化することで、有効な類似度および信頼度スコアの計算を可能にする。
• 中間の予測を公開することで、推論のトレースとエラーの診断を可能にする、解釈可能性を提供する。

実験結果

リサーチクエスチョン

• RQ1 自然言語の文をより小さな論理的ユニットに分解することで、事実検証のパフォーマンスが向上するか？
• RQ2 ニューラル推論とシンボリック論理規則を組み合わせることで、予測の正確性と頑健性がどの程度向上するか？
• RQ3 提案手法は、エンドツーエンドのニューラルモデルと比較して、どの程度解釈可能性が向上するか？
• RQ4 モデルはFEVERベンチマークに一般化可能であり、高い正確性と論理的整合性を維持できるか？
• RQ5 中間的推論ステップは、モデルの誤りを特定・説明するために果たす役割は何か？

主な発見

• LORENは73.43%のFEVERスコアを達成し、ベンチマーク上で以前に発表された手法を上回った。
• 文の論理的ユニットへの分解により、主張のより正確で細分化された検証が可能になった。
• 三値論理規則とニューラル信頼度スコアの統合により、予測の一貫性が向上し、誤った分類が減少した。
• モデルの途中推論トレースにより、予測の明確な説明が得られ、解釈可能性とエラー診断が向上した。
• ニューラル推論とシンボリック論理の統合が、純粋なニューラル手法よりも優れたパフォーマンスと透明性をもたらすことが示された。