[論文レビュー] A Survey on Automated Fact-Checking

Zhijiang Guo, Michael Schlichtkrull+1 more|arXiv (Cornell University)|Aug 26, 2021

Misinformation and Its Impacts被引用数 43

ひとこと要約

この論文は、自動的な事実確認の総合的で統一的な調査を提供し、三段階のフレームワーク（主張検出、証拠検索、主張検証（判定と正当化を含む））、データセットとモデリング手法のレビュー、および将来の課題を強調している。

ABSTRACT

Fact-checking has become increasingly important due to the speed with which both information and misinformation can spread in the modern media ecosystem. Therefore, researchers have been exploring how fact-checking can be automated, using techniques based on natural language processing, machine learning, knowledge representation, and databases to automatically predict the veracity of claims. In this paper, we survey automated fact-checking stemming from natural language processing, and discuss its connections to related tasks and disciplines. In this process, we present an overview of existing datasets and models, aiming to unify the various definitions given and identify common concepts. Finally, we highlight challenges for future research.

研究の動機と目的

• 自動化された事実確認の統一的な三段階フレームワークを定義する：主張検出、証拠検索、主張検証（判定と正当化を含む）。
• このフレームワークに沿うよう、さまざまなドメインとモダリティにわたるデータセットとモデリング戦略を調査する。
• スケーラブルで説明可能な自動化事實確認の課題と将来の方向性を明らかにする。
• データセットの種類（主張、証拠、判定）のガイダンスと、それらがシステムの訓練・評価にどのように使われるか。

提案手法

• 自動化された事実確認の三段階NLPフレームワークを提示する：主張検出、証拠検索、主張検証（判定予測と正当化の生成）。
• 主張検出を“チェックに値するか”および噂検出として、二値およびランク付けの定式化の両方でレビューする；ニューラルおよびグラフベースのモデルを論じる。
• テキスト、半構造化、知識ベースソースを含む証拠検索アプローチ、ならびに検索戦略と再ランク付け手法を調査する。
• 判定予測を二値または多クラス分類として論じ、判定を支持する証拠の役割を説明する；データセットとラベリングスキームを扱う。
• 正当化生成戦略として、アテンションベースの説明、論理ベースの導出、要約ベースの説明を含めて論じる；読みやすさ、妥当性、忠実度の基準に対応する。
• 入力タイプ（テキスト、KG、表など）、ドメイン（ニュース、政治、科学、健康）ごとにデータセットを要約し、証拠が明示されているかどうかを示す；人工的か自然な主張データセットの区別を強調する。

実験結果

リサーチクエスチョン

• RQ1 自動化された事実確認の包括的なフレームワークとは何であり、既存の研究をどのようにそれに統合できるか？
• RQ2 自動化事実確認システムを評価する際に用いられる一般的なデータセット、入力、証拠、および判定/正当化の形式は何か？
• RQ3 各コンポーネント（主張検出、証拠検索、検証、正当化）に存在するモデリング戦略は何であり、それらはどのように統合されているか？
• RQ4 自動化事実確認における主な課題と今後の研究の方向性は何か？

主な発見

• 三段階のフレームワーク（主張検出、証拠検索、主張検証）は、自動化された事実確認の研究を効果的に構造化する。
• 証拠検索は多様なソース（テキスト、メタデータ、表、知識グラフ）に依存することが多く、立場検出やRTE型の検証に続くことがある。
• 真偽ラベルは二値から多クラスまで幅があり、場合によっては事後正規化が必要。多くのデータセットは主張と証拠を組み合わせ、時には正当化された説明も付く。
• 正当化生成は透明性のためにますます優先されており、アテンションベースのハイライト、論理的導出、要約ベースの説明などの戦略を含み、読みやすさ、妥当性、忠実性を強調する。
• 多言語・多分野にまたがるデータセットが幅広に存在し、自然発生的および人工的に生成された主張の両方を含んでおり、分野の広さを示している。