[論文レビュー] Overview of the CLEF-2021 CheckThat! Lab Task 2 on detecting previously fact-checked claims in tweets and political debates

Shaden Shaar, Fatima Haouari+7 more|Qatar University QSpace (Qatar University)|Jan 1, 2021

Misinformation and Its Impacts参考文献 28被引用数 18

ひとこと要約

本論文は、2021年Clever-2021 CheckThat!ラボを提示する。これは、ツイートにおける検証価値のある主張の特定（タスク1）、事前に検証済みの主張の検索による検証支援（タスク2）、ニュース記事におけるフェイクニュースの検出とトピック分野の分類（タスク3）を含む、多言語対応の事実検証評価である。研究では、トランスフォーマーに基づくモデルを用いて優れた性能を示し、最良のシステムは主張検証で0.881のマクロ-F1、分類精度で0.905を達成した。

ABSTRACT

We describe the fourth edition of the CheckThat! Lab, part of the 2021 Conference and Labs of the Evaluation Forum (CLEF). The lab evaluates technology supporting three tasks related to factuality, and it covers Arabic, Bulgarian, English, Spanish, and Turkish. Here, we present the task 2, which asks to detect previously fact-checked claims (in two languages). A total of four teams participated in this task, submitted a total of sixteen runs, and most submissions managed to achieve sizable improvements over the baselines using transformer based models such as BERT, RoBERTa. In this paper, we describe the process of data collection and the task setup, including the evaluation measures used, and we give a brief overview of the participating systems. Last but not least, we release to the research community all datasets from the lab as well as the evaluation scripts, which should enable further research in detecting previously fact-checked claims.

研究の動機と目的

• 多言語対応のソーシャルメディアおよび政治的議論における、検証価値のある主張を自動で検出するためのシステムの開発と評価。
• 重複した事実検証作業を回避するために、事前に検証済みの主張を検索可能にする仕組みの実現。
• ニュース記事の真偽とトピック分野を分類することで、専門家ルーティングおよび自動検証を支援。
• アラビア語、ブルガリア語、英語、スペイン語、トルコ語を含む多言語対応の事実検証技術の発展。
• 検証価値推定、主張検索、フェイクニュース検出のパイプラインを通じて、人間の事実検証者を支援。

提案手法

• タスク1では、BERT、RoBERTa、およびAraBERTを用いて多言語入力を処理するランクイングモデルを用い、COVID-19および政治に関するツイートの検証価値を予測する。
• タスク2では、ターゲット主張と類似する意味的類似度に基づいて、事前に検証済みの主張をランク付けするため、微調整されたトランスフォーマー・モデル（例：RoBERTa）を採用する。
• タスク3では、トランスフォーマー・アーキテクチャ（例：BERT、アンサンブルモデル）を用いた多クラス分類を適用し、ニュース記事の真偽とトピック分野を予測する。
• 評価指標には、ランク付けタスクでは平均平均精度（MAP）、分類タスクではマクロ-F1を用いる。
• 主張検出、証拠検索、真偽予測を統合したパイプラインを構築し、準自動的な事実検証ワークフローを支援する。
• データセットは、実世界のソースから構築された：ツイッター・ストリーム、政治的討論、および5ヶ国語（アラビア語、ブルガリア語、英語、スペイン語、トルコ語）のニュース記事。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーに基づくモデルは、多言語対応のソーシャルメディア・コンテンツにおける検証価値のある主張をどれほど効果的に特定できるか？
• RQ2 意味的マッチングを用いて、事前に検証済みの主張をどれほど効果的に検索できるか？
• RQ3 多クラスフェイクニュース検出モデルは、ニュース記事の真偽とトピック分野を正確に予測できるか？
• RQ4 アラビア語、英語、ブルガリア語、スペイン語、トルコ語の各言語において、事実検証タスクのパフォーマンスにどのような差が生じるか？
• RQ5 アンサンブルモデルおよび微調整済みトランスフォーマーは、主張検証および分類精度にどのような影響を及えるか？

主な発見

• タスク2（事前に検証済みの主張検索）で最良のシステムは、3つのトランスフォーマー・モデルのアンサンブルを用い、マクロ-F1スコア0.881を達成した。
• タスク3B（トピック分野分類）において、最上位チーム（NITK_NLP）はマクロ-F1 0.881、正解率0.905を達成し、各クラスのF1スコアも高く（例：気候変動分野で0.950、健康分野で0.946）、優れた性能を示した。
• タスク3Bで2番目に優れたシステム（NoFake）はマクロ-F1 0.855を達成し、犯罪（0.875）や教育（0.957）など多様な分野で高い性能を示した。
• タスク1では、BERTおよびRoBERTaモデルが強く、特に英語およびアラビア語において優れた性能を示し、最良のシステムはAraBERTおよび多言語BERTを活用した。
• タスク3A（フェイクニュース検出）では全体的なパフォーマンスが低く、最良のシステムでもマクロ-F1 0.841にとどまり、フェイクニュースと本物のニュースを区別する課題が顕在化した。
• 本ラボには132チームが登録され、タスク1、2、3それぞれに15、5、25件の公式提出がなされ、CLEF-2021ラボの中で最も人気だった。