[論文レビュー] Fighting the COVID-19 Infodemic: Modeling the Perspective of Journalists, Fact-Checkers, Social Media Platforms, Policy Makers, and the Society

Firoj Alam, Shaden Shaar+15 more|arXiv (Cornell University)|Apr 30, 2020

Misinformation and Its Impacts被引用数 4

ひとこと要約

本論文は、ジャーナリスト、fact-checker、ソーシャルメディアプラットフォーム、政策立案者、一般市民の視点から、細分化された誤情報分析を支援することを目的として、アラビア語、ブルガリア語、オランダ語、英語の4言語で16,000件の手動アノテーションが施された多言語・マルチステークホルダーのCOVID-19ツイートデータセットを紹介する。事前学習されたトランスフォーマーを用いた多言語およびマルチタスク学習により、強い性能を示しており、主に英語で、主張の真偽に関する多クラス分類で最大87.7%のF1スコア、コール・トゥ・アクション検出で81.8%のF1スコアを達成した。

ABSTRACT

With the emergence of the COVID-19 pandemic, the political and the medical aspects of disinformation merged as the problem got elevated to a whole new level to become the first global infodemic. Fighting this infodemic has been declared one of the most important focus areas of the World Health Organization, with dangers ranging from promoting fake cures, rumors, and conspiracy theories to spreading xenophobia and panic. Addressing the issue requires solving a number of challenging problems such as identifying messages containing claims, determining their check-worthiness and factuality, and their potential to do harm as well as the nature of that harm, to mention just a few. To address this gap, we release a large dataset of 16K manually annotated tweets for fine-grained disinformation analysis that (i) focuses on COVID-19, (ii) combines the perspectives and the interests of journalists, fact-checkers, social media platforms, policy makers, and society, and (iii) covers Arabic, Bulgarian, Dutch, and English. Finally, we show strong evaluation results using pretrained Transformers, thus confirming the practical utility of the dataset in monolingual vs. multilingual, and single task vs. multitask settings.

研究の動機と目的

• COVID-19パンデミック期の世界的な「インフォデミック（誤情報の蔓延）」に対処するため、複数のステークホルダーの視点から誤情報を捉えるデータセットの構築。
• ジャーナリスト、fact-checker、ソーシャルメディアプラットフォーム、政策立案者、一般市民のニーズを統合した包括的なアノテーションスキーマの開発。
• 多言語SNSコンテンツにおけるチェックの価値、真偽、害悪度、コール・トゥ・アクションのモデリングを通じて、誤情報の細分化された分析を可能にすること。
• 最先端のトランスフォーマー・モデルを用いた多言語およびマルチタスク学習による強力なベンチマークを用いた、データセットの有効性の評価。

提案手法

• 主張の真偽、チェックの価値、害悪度、政策的関連性をカバーする7つの質問からなるスキーマを用いて、4言語（アラビア語、ブルガリア語、オランダ語、英語）で16,000件のツイートをアノテーション。
• ジャーナリスト、fact-checker、公共保健省の協議を通じてアノテーションガイドラインを設計し、現実世界の関連性を確保。
• 主張の真偽、チェックの価値、害悪度、コール・トゥ・アクション意図を同時に予測するマルチラベル・マルチタスク学習フレームワークを採用。
• モノリンガルおよびマルチリンガル設定で、BERT、mBERT、XLM-RoBERTa、FastText、BERTjeの複数のモデルを訓練および評価。
• 誤情報検出の性能向上を図るため、社会的文脈およびプロパガンダ的言語の兆候を統合。
• データセットおよびコードをGitHubで公開し、再現可能性および多言語誤情報検出分野における今後の研究を支援。

実験結果

リサーチクエスチョン

• RQ1 多言語・マルチステークホルダーのデータセットは、グローバルな健康危機期におけるSNS上での誤情報検出をどのように改善できるか？
• RQ2 細分化された誤情報分類タスクにおいて、マルチタスク学習およびクロスリンガル学習によってどの程度の性能向上が達成できるか？
• RQ3 社会的文脈やプロパガンダ的言語の兆候は、ツイートにおける有害性やチェックの価値がある主張の検出にどのように影響するか？
• RQ4 事前学習されたトランスフォーマー・モデルは、COVID-19誤情報の文脈において、言語およびタスクの間でどの程度一般化するか？
• RQ5 統一されたアノテーションスキーマは、ジャーナリスト、fact-checker、政策立案者、一般市民の多様なニーズを効果的に捉えることができるか？

主な発見

• 多言語誤情報検出において、データセットは強い性能を示した。特にXLM-RoBERTaは、英語での多クラス主張真偽分類で87.7%のF1スコアを達成した。
• マルチタスク学習は顕著な性能向上をもたらした。XLM-RoBERTaは英語でのコール・トゥ・アクション検出（Q7）で81.8%のF1スコアを達成し、ベースラインモデルを上回った。
• クロスリンガル転移学習により顕著な向上が見られ、mBERTはオランダ語でのQ7（コール・トゥ・アクション）で84.4%のF1スコアを達成し、強力なゼロショット一般化を示した。
• プロパガンダ的言語および社会的文脈をモデル化することで、全言語で有害性やチェックの価値がある主張の検出において、明確な性能向上が得られた。
• データセットは高いアノテーター間一貫性と実用的価値を示し、BERTベースのモデルは英語およびオランダ語のほとんどのタスクで80%以上のF1スコアを達成した。
• GitHubでのデータセットおよびコードの公開により、再現可能性が確保され、多言語誤情報検出および政策関連NLP分野における今後の研究を支援できる。