[論文レビュー] Automated Fact Checking: Task formulations, methods and future directions

James Thorne, Andreas Vlachos|arXiv (Cornell University)|Jun 20, 2018

Misinformation and Its Impacts参考文献 29被引用数 130

ひとこと要約

このサーベイは、自動的な事実検証のためのNLPおよび関連分野におけるタスク定義と手法を統合し、証拠を重要な区別要因として強調し、将来のNLPの方向性を概説する。

ABSTRACT

The recently increased focus on misinformation has stimulated research in fact checking, the task of assessing the truthfulness of a claim. Research in automating this task has been conducted in a variety of disciplines including natural language processing, machine learning, knowledge representation, databases, and journalism. While there has been substantial progress, relevant papers and articles have been published in research communities that are often unaware of each other and use inconsistent terminology, thus impeding understanding and further progress. In this paper we survey automated fact checking research stemming from natural language processing and related disciplines, unifying the task formulations and methodologies across papers and authors. Furthermore, we highlight the use of evidence as an important distinguishing factor among them cutting across task formulations and methods. We conclude with proposing avenues for future NLP research on automated fact checking.

研究の動機と目的

• 自動的な事実検証のために、NLP、ML、知識表現、およびジャーナリズム全体の定義とタスク定義を明確化・統一する。
• 事実検証で使用される証拠の役割と種類を検討し、それらが入力と出力にどのように影響するかを分析する。
• データセット、モデル、および評価パラダイムをレビューしてギャップと将来の研究方向を特定する。

提案手法

• 入力をテキストの主張、トリプル、または文書に分類し、グラウンディングと曖昧さ解消のニーズを検討する。
• 知識グラフ、テキストソース、過去の事実確認済みリポジトリなど、証拠源を調査する。
• 二値、序数、多ラベル、スコアベースの評決形式を、対応する評価シグナルとともに比較する。
• 監視学習を支配的なアプローチとして、証拠検索と含意/ランキング手法がどのように統合されているかを論じる。
• FEVER風の設定における文書取得、文の選択、テキスト含意モデルなどのパイプラインアーキテクチャを強調する。

実験結果

リサーチクエスチョン

• RQ1 自動的事実検証研究全体で共通に用いられる入力と出力は何か？
• RQ2 どの種類の証拠が用いられ、それらがモデル設計と評価にどのように影響するか？
• RQ3 データセットは事実検証モデルの開発と評価をどのように形作るか？
• RQ4 主要な方法論的アプローチ（例: テキスト含意、知識グラフ）とそれらの限界は何か？
• RQ5 拡張性と信頼性を備えた自動事実検証のために、有望な将来のNLP方向性は何か？

主な発見

• 証拠に基づくアプローチは、タスク定義全体で中核となっており、知識グラフ、テキストソース、および過去の事実確認済み主張が重要な入力として機能する。
• 出力は二値ラベルから多クラス、スコアベースの評決まで多様で、FEVER風のタスクは評決とともに証拠文を要求する。
• データセットは規模と証拠の入手可能性が異なり、事実検証の機械学習アプローチの実現可能性に影響を与える。
• 監視学習が現在の手法を支配しており、しばしば検索、グラウンディング、物語性または出所の考慮事項を組み合わせる。
• 出典者プロファイル、信頼性シグナル、知識ベースの制約に起因する倫理的およびグラウンディングの課題が生じる。