[論文レビュー] CrowdChecked: Detecting Previously Fact-Checked Claims in Social Media

Momchil Hardalov, Anton Chernyavskiy+3 more|arXiv (Cornell University)|Oct 10, 2022

Hate Speech and Cyberbullying Detection被引用数 5

ひとこと要約

本稿では、Twitterにおけるクラウドファクトチェックの過程から抽出された33万件のツイート–ファクトチェック記事ペアを用いた大規模データセットであるCrowdCheckedを紹介する。このデータは、ノイズの多いデータをラベル付けるために遠隔監視を用いて作成された。著者らは、自己適応トレーニングを修正した手法を提案し、CLEF'21 CheckThat!ベンチマークにおいてSOTAを2ポイント上回るゼロショットファクトチェック性能を実現した。これは、クラウドソースのファクトチェックを活用することで、耐障害性の高い検出システムを訓練できる価値があることを示している。

ABSTRACT

While there has been substantial progress in developing systems to automate fact-checking, they still lack credibility in the eyes of the users. Thus, an interesting approach has emerged: to perform automatic fact-checking by verifying whether an input claim has been previously fact-checked by professional fact-checkers and to return back an article that explains their decision. This is a sensible approach as people trust manual fact-checking, and as many claims are repeated multiple times. Yet, a major issue when building such systems is the small number of known tweet--verifying article pairs available for training. Here, we aim to bridge this gap by making use of crowd fact-checking, i.e., mining claims in social media for which users have responded with a link to a fact-checking article. In particular, we mine a large-scale collection of 330,000 tweets paired with a corresponding fact-checking article. We further propose an end-to-end framework to learn from this noisy data based on modified self-adaptive training, in a distant supervision scenario. Our experiments on the CLEF'21 CheckThat! test set show improvements over the state of the art by two points absolute. Our code and datasets are available at https://github.com/mhardalov/crowdchecked-claims

研究の動機と目的

• ソーシャルメディアにおける事前にファクトチェックされた主張を検出するためのトレーニングデータの不足を解消すること。
• Twitterにおけるクラウドファクトチェック行動を活用し、ツイート–ファクトチェック記事ペアの大規模でノイズを含むトレーニングデータセットを構築すること。
• ノイズを含む遠隔監視データに対して、耐障害性の高いモデルをトレーニングするための強力な手法を開発すること。
• クラウドソースのファクトチェックリンクをマイニングすることで、既存のベースラインを上回る顕著な性能向上を達成できることを示すこと。

提案手法

• ユーザーがSnopesのファクトチェック記事へのリンクを主張のツイートに返信する会話のスレッドをマイニングし、根元の主張ツイートと関連する記事を抽出する。
• 遠隔監視を用いてマイニングされたペアをラベル付けし、2つの異なる戦略を適用して、3.5K～50K件の例からなるトレーニングセットを生成する。
• モデル最適化中のノイズの影響を軽減するために、損失重みを動的に調整する修正された自己適応トレーニングフレームワークを提案する。
• 自己適応トレーニング手順を用いて、CrowdCheckedデータセット上でBERTおよびRoBERTaモデルをファインチューニングし、主張マッチングを向上させる。
• バックプロパゲーション中に信頼性の高い予測を優先し、ノイズの多い例を抑圧するために、追加の損失関数重みを統合する。

Figure 1: Crowd fact-checking thread on Twitter. The first tweet ( Post w/ claim ) makes the claim that Ivermectin causes sterility in men , which then receives replies . A (crowd) fact-checker replies with a link to a verifying article from a fact-checking website. We pair the article with the twee

実験結果

リサーチクエスチョン

• RQ1 ソーシャルメディアにおけるクラウドソースのファクトチェック行動は、事前にファクトチェックされた主張を検出するための大規模なトレーニングデータセットを効果的に作成できるか？
• RQ2 クラウドファクトチェックスレッドから抽出されたノイズを含むツイート–記事ペアに対して、遠隔監視戦略はどの程度有効か？
• RQ3 自己適応トレーニングは、ファクトチェックリトリーブの文脈で、遠隔監視設定におけるノイズラベルの影響を緩和できるか？
• RQ4 CrowdCheckedデータセット上でファインチューニングすることで、標準ベンチマーク上での既存のSOTA手法を上回る顕著な性能向上が達成できるか？

主な発見

• CrowdCheckedデータセットには、ユーザーがSnopesのファクトチェックにリンクするTwitter会話から抽出された33万件のツイート–ファクトチェック記事ペアが含まれる。
• 提案された自己適応トレーニング手法は、CLEF'21 CheckThat!テストセットにおいてSOTAを2ポイント上回る絶対的改善を達成した。
• MRR、P@1、MAP@5といった複数の指標において一貫した向上が確認され、強力なベースラインを4ポイントまで上回る改善が得られた。
• 2つの異なるラベル付け戦略を用いた遠隔監視の適用により、3.5K～50K件の例からなるトレーニングセットが得られ、効果的なモデルファインチューニングが可能になった。
• CrowdCheckedデータセット上でファインチューニングしたモデルは、より小さい手作業で整備されたデータセットでトレーニングされたモデルを著しく上回り、クラウドファクトチェック行動のマイニングが有効であることを裏付けた。

Figure 2: Histogram of the year of publication of the Snopes articles included in CrowdChecked (our dataset) vs. those in CheckThat ’21 .