[論文レビュー] MultiFC: A Real-World Multi-Domain Dataset for Evidence-Based Fact Checking of Claims

Isabelle Augenstein, Christina Lioma+5 more|arXiv (Cornell University)|Sep 7, 2019

Topic Modeling参考文献 36被引用数 9

ひとこと要約

本稿では、26のfact-checkingウェブサイトから収集した34,918件の自然に発生した主張と、それに関連する証拠ページおよび豊富なメタデータを備えた、証拠に基づく主張検証のための、公開済みで最大規模の実世界データセット「MultiFC」を紹介する。本稿では、証拠の順序付けと真偽予測を同時に処理する新しい共同モデルを提案し、49.2%のマクロF1を達成した。これは、証拠のエンコーディングとメタデータの利用が、ベースラインよりも顕著に性能向上をもたらすことを示している。

ABSTRACT

We contribute the largest publicly available dataset of naturally occurring factual claims for the purpose of automatic claim verification. It is collected from 26 fact checking websites in English, paired with textual sources and rich metadata, and labelled for veracity by human expert journalists. We present an in-depth analysis of the dataset, highlighting characteristics and challenges. Further, we present results for automatic veracity prediction, both with established baselines and with a novel method for joint ranking of evidence pages and predicting veracity that outperforms all baselines. Significant performance increases are achieved by encoding evidence, and by modelling metadata. Our best-performing model achieves a Macro F1 of 49.2%, showing that this is a challenging testbed for claim veracity prediction.

研究の動機と目的

• 自然に発生した主張を多様なfact-checkingソースから収集することで、自動主張真偽予測のための大規模で実世界のデータセットの不足を解消すること。
• 実世界の主張検証における特徴と課題を分析すること。具体的には、エンティティの多様性、ラベルの分布、メタデータの有用性を対象とする。
• 証拠文書とメタデータの両方を活用する最先端の真偽予測モデルの開発と評価を行うこと。
• 証拠順序付けと真偽予測を同時にモデリングするアプローチが、独立してこれらのタスクを処理するモデルを上回ることを示すこと。

提案手法

• 26のfact-checkingウェブサイト（例：PolitifactやSnopesを含む）から、主張、関連する証拠ページ、および豊富なメタデータ（例：発言者、タグ、公開日）を収集することで、データセットを構築した。
• 神経ネットワークを用いた共有表現を活用し、証拠ページの順序付けと主張の真偽予測を同時に実行する新しい共同モデル「crawled_ranked + meta」を提案した。
• BERTベースのエンコーダーを用いて、主張、証拠ページ、メタデータ（例：発言者、タグ）をエンコードし、分類性能を向上させるためにラベル埋め込みを適用した。
• マルチタスク学習（MTL）フレームワークを用いて、複数のドメインを同時に学習させることで、汎化性能と性能を向上させた。
• 証拠エンコーディング、メタデータ、ラベル埋め込みの各要因がモデル性能に与える寄与度を評価するためにアブレーションスタディを実施した。
• 複数のドメインにおいて、マイクロF1およびマクロF1スコアを用いてモデルを訓練・評価し、予測の誤りパターンや失敗事例について詳細な分析を行った。

実験結果

リサーチクエスチョン

• RQ1 実世界の証拠ページとメタデータの含むことで、主張真偽予測モデルの性能にどのような影響を与えるか？
• RQ2 証拠ページの順序付けと真偽予測を同時に処理する共同モデルは、これらのタスクを別々に処理するモデルを上回る性能を示せるか？
• RQ3 発言者、タグ、カテゴリなど、異なる種類のメタデータが真偽予測性能に果たす相対的寄与度はどの程度か？
• RQ4 主張の長さ、エンティティの明確さ、証拠の重複度は、モデルの正確性や誤りパターンにどのように影響するか？
• RQ5 現在のモデルが実世界の主張検証において、特に曖昧または複雑な主張に対して示す主な失敗モードは何か？

主な発見

• 提案された共同モデル「crawled_ranked + meta」は、マクロF1が49.2%に達し、すべての既存ベースラインを顕著に上回った。
• 証拠ページのエンコーディングが性能向上に大きく寄与しており、主張のみを入力とするベースラインと比較して、大幅な性能向上が確認された。
• 特にトピックタグがメタデータとして顕著に性能向上に寄与しており、完全なメタデータエンコーディングはメタデータなしのモデルよりも高いマクロF1を達成した。
• 証拠の重複度が高く、情報量の多いタグが付与された主張に対してモデルは最も高い性能を示したが、長く複雑な主張や曖昧な証拠に対しては困難を示した。
• 「ほとんど真実」（mostly true）と「半分真実」（half-true）のような類似したラベル間での誤りが最も多く発生しており、細分化された真偽分類の課題が浮き彫りになった。
• ラベル数の多いドメイン（例：tron, snes）では性能が低く、一部の小さなドメインでは主張の表現が明確なため、完全スコアを達成した。