[論文レビュー] Combining Fact Extraction and Verification with Neural Semantic Matching Networks

Yixin Nie, Haonan Chen+1 more|arXiv (Cornell University)|Nov 16, 2018

Topic Modeling参考文献 23被引用数 29

ひとこと要約

本論文は、FEVERベンチマークにおける事実検証のため、文書検索、文選択、主張検証を統合的に実行する統一型ニューラル意味的マッチングネットワーク（NSMN）フレームワークを提案する。中間の語彙表現を経由せずに深層意味的マッチングを活用し、ページビュー頻度、WordNet特徴、モジュール間関連スコアを統合することで、盲検テストセットにおいて64.23のFEVERスコアを達成し、従来手法を著しく上回る最先端の性能を発揮した。

ABSTRACT

The increasing concern with misinformation has stimulated research efforts on automatic fact checking. The recently-released FEVER dataset introduced a benchmark fact-verification task in which a system is asked to verify a claim using evidential sentences from Wikipedia documents. In this paper, we present a connected system consisting of three homogeneous neural semantic matching models that conduct document retrieval, sentence selection, and claim verification jointly for fact extraction and verification. For evidence retrieval (document retrieval and sentence selection), unlike traditional vector space IR models in which queries and sources are matched in some pre-designed term vector space, we develop neural models to perform deep semantic matching from raw textual input, assuming no intermediate term representation and no access to structured external knowledge bases. We also show that Pageview frequency can also help improve the performance of evidence retrieval results, that later can be matched by using our neural semantic matching network. For claim verification, unlike previous approaches that simply feed upstream retrieved evidence and the claim to a natural language inference (NLI) model, we further enhance the NLI model by providing it with internal semantic relatedness scores (hence integrating it with the evidence retrieval modules) and ontological WordNet features. Experiments on the FEVER dataset indicate that (1) our neural semantic matching method outperforms popular TF-IDF and encoder models, by significant margins on all evidence retrieval metrics, (2) the additional relatedness score and WordNet features improve the NLI model via better semantic awareness, and (3) by formalizing all three subtasks as a similar semantic matching problem and improving on all three stages, the complete model is able to achieve the state-of-the-art results on the FEVER test set.

研究の動機と目的

• 誤情報の増加する課題に対処するため、自動的事実検証のエンドツーエンドシステムの開発を目的とする。
• 従来のTF-IDFやベクトル空間モデルに代えて、深層ニューラル意味的マッチングネットワークを用いることで、証拠検索と主張検証の両方の性能を向上させることを目的とする。
• 上流の検索モジュールからの意味的関連スコアと、WordNetからのオントロジー的特徴を統合することで、主張検証の性能を向上させることを目的とする。
• 文書検索、文選択、主張検証の3段階を、一貫したニューラルアーキテクチャを用いて統一的意味的マッチング問題として形式化することを目的とする。
• Freebase や DBpedia などの構造的知識ベースに依存せずに、FEVERベンチマークで最先端の性能を達成することを目的とする。

提案手法

• 文書検索、文選択、主張検証の各段階にそれぞれ対応する3つの同型のニューラル意味的マッチングネットワーク（dNSMN, sNSMN, vNSMN）を採用する。
• dNSMNは、生テキスト入力を用いて、語彙ベクトル化を経由せずに深層意味表現を学習することで、文書検索を実行し、TF-IDF やエンコーダーモデルを著しく上回る性能を発揮した。
• ページビュー頻度を文書ランク付けの補助信号として用い、検索性能の向上に寄与した。
• sNSMNは、アニーリングサンプリングを用いて、文と主張の意味的類似度を基に文選択を学習し、関連スコアを検証器に供給する。
• vNSMNは、文選択モジュールからの意味的関連スコアと、WordNet特徴（例：反意語、上位概念）をニューラルNLIモデルに統合し、含意および矛盾検出の性能を向上させた。
• パイプライン全体をエンドツーエンドで訓練し、各段階で共通のアーキテクチャとコンponentsを用いることで、一貫性と共同最適化を確保した。

実験結果

リサーチクエスチョン

• RQ1 中間語彙表現を経由せずに、ニューラル意味的マッチングネットワークは、従来のTF-IDFやエンコーダー基盤のIRモデルを上回る性能を発揮できるか？
• RQ2 ページビュー頻度を統合することで、事実検証タスクにおける文書検索性能が向上するか？
• RQ3 上流の検索モジュールからの意味的関連スコアを統合することで、下流の主張検証性能が向上するか？
• RQ4 WordNetからのオントロジー的特徴は、事実検証における自然言語推論の頑健性と正確性をどの程度向上させるか？
• RQ5 統一型ニューラル意味的マッチングフレームワークは、文書検索、文選択、主張検証を同時に最適化し、最先端の結果を達成できるか？

主な発見

• ニューラル意味的マッチングネットワーク（dNSMN）は、すべての証拠検索指標において、TF-IDF やエンコーダーモデルを著しく上回り、エンドツーエンドの深層意味的マッチングの優位性を実証した。
• ページビュー頻度の統合により、同等かつ補完的な判別情報が得られ、文書検索性能が向上した。
• WordNet特徴の追加により、'Supports' および 'Refutes' ケースのF1スコアが約1ポイント向上した。これは、反意語や上位概念といった細粒度の意味的関係によるものである。
• 文選択モジュールからの意味的関連スコアを検証器に統合することで、'Not Enough Info' ケースのF1スコアがほぼ3ポイント向上し、曖昧なケースにおけるモデルの信頼性が向上した。
• 最終モデルは、盲検テストセットで64.23のFEVERスコアを達成し、ベースラインモデルを2倍以上上回り、FEVERベンチマークで新たな最先端の記録を樹立した。
• モデルはノイズに強い特性を示し、証拠フィルタリングの閾値を下げるに従い、FEVERスコアがわずかに上昇した。これは、高リコールの証拠選択にアニーリングサンプリングを用いる正当性を裏付けた。