[論文レビュー] MiDe22: An Annotated Multi-Event Tweet Dataset for Misinformation Detection

Çağrı Toraman, Oguzhan Ozcelik+2 more|arXiv (Cornell University)|Oct 11, 2022

Misinformation and Its Impacts被引用数 6

ひとこと要約

本稿では、ロシア・ウクライナ戦争、COVID-19、難民危機といった最近の主要な出来事に関する、英語およびトルコ語のツイート10,348件を含む、MiDe-22と呼ばれる新しい多言語データセットを紹介する。これらのツイートは、偽情報、真実、その他の3つのラベルに分類されており、いいね、リツイート、返信、引用のユーザー参加メタデータを併記している。本研究では最先端のモデルをベンチマーク化し、英語ではDeBERTaで最大84.04%のF1スコア、トルコ語ではBERTurkで82.89%のF1スコアを達成し、多言語間の誤情報検出において優れたパフォーマンスを示している。

ABSTRACT

The rapid dissemination of misinformation through online social networks poses a pressing issue with harmful consequences jeopardizing human health, public safety, democracy, and the economy; therefore, urgent action is required to address this problem. In this study, we construct a new human-annotated dataset, called MiDe22, having 5,284 English and 5,064 Turkish tweets with their misinformation labels for several recent events between 2020 and 2022, including the Russia-Ukraine war, COVID-19 pandemic, and Refugees. The dataset includes user engagements with the tweets in terms of likes, replies, retweets, and quotes. We also provide a detailed data analysis with descriptive statistics and the experimental results of a benchmark evaluation for misinformation detection.

研究の動機と目的

• 最近の出来事、多言語的、参加メタデータ豊富な誤情報検出用データセットの不足に対処すること。
• 最近の世界的な出来事にカバーされ、言語のバランスが取れており、低リソース言語のトルコ語を含む、透明性があり倫理的に整備されたデータセットを提供すること。
• 言語や出来事の違いを考慮したモデルのベンチマーク化を可能にし、多言語的および多分野の誤情報検出研究を支援すること。
• 情報拡散のダイナミクスを反映するユーザー参加信号を含めることで、強固な検出システムの開発を支援すること。

提案手法

• データセットは、Fact-checkingプラットフォーム（例：Politifact、Teyit.org）に基づくターゲットクエリを用いて、Twitter Academic Access APIを介して収集された。3つの主要分野（ロシア・ウクライナ戦争、COVID-19、難民）にまたがる40件の出来事に関連するツイートを収集した。
• ツイートは、詳細なアノテーションガイドラインとライブトレーニングセッションを用いて、3つのクラス（偽情報、真実、その他）に手動でラベル付けされた。
• すべてのツイートに対して、いいね、返信、リツイート、引用のユーザー参加データを収集し、ウイルス的拡散および参加パターンの分析を可能にした。
• 3つのモデルファミリー（従来の機械学習/深層学習、多言語LLM（mBERT、XLM-R）、単語言語LLM（DeBERTa、BERTurk））を用いた、多面的なベンチマーク評価を実施した。
• アノテーションプロセスでは、信頼できるFact-checkingソースからの証拠を根拠に、各言語ごとに5名の専門家アノテーターが関与した。これにより客観性と一貫性が確保された。
• すべてのデータおよびキュレーションのアーティファクト（クエリ、ガイドライン、ツール）は、https://github.com/avaapm/mide22 で公開されており、再現性と透明性を確保している。

実験結果

リサーチクエスチョン

• RQ1 最近の世界的な出来事における多言語的文脈（英語対トルコ語）において、誤情報のパターンはどのように異なるか？
• RQ2 ユーザー参加信号（いいね、リツイート、返信、引用）は、誤情報の拡散および検出パフォーマンスとどの程度相関しているか？
• RQ3 最先端の多言語および単語言語LLMは、新たに整備された多言語的誤情報検出ベンチマークでどの程度のパフォーマンスを示すか？
• RQ4 ある言語（例：英語）で訓練されたモデルは、重複する誤情報の出来事において、低リソース言語（例：トルコ語）に効果的に一般化できるか？
• RQ5 リアルタイムのソーシャルメディアストリームから、タイムリーで関連性があり多様な誤情報データを収集・アノテートする上での主な課題は何か？

主な発見

• 英語サブセットではDeBERTaが84.04%の最高F1スコアを記録し、mBERT や XLM-R よりも優れた性能を示した。
• トルコ語ではBERTurkが82.89%のF1スコアを達成し、低リソース言語における誤情報検出で強力なパフォーマンスを示した。
• XLM-Rはトルコ語で83.18%のF1スコアを記録し、言語のリソースが少ないにもかかわらず、優れた多言語転送性能を示した。
• データセットでは、出来事の種別によって参加パターンに顕著な差が見られ、戦争やパンデミック関連の誤情報は、リツイートおよび引用率が高かった。
• 参加メタデータの統合により、誤情報拡散のモデリングの可能性が顕著に向上した。特に、高影響力の出来事においてリツイートと偽情報の発信との強い相関が確認された。
• ベンチマーク結果から、微調整されたLLM、特にDeBERTaとBERTurkは、両言語で82%を超えるF1スコアを達成し、多言語的誤情報検出において非常に効果的であることが確認された。