[論文レビュー] Identifying COVID-19 Fake News in Social Media

Tathagata Raha, Indurthi+5 more|arXiv (Cornell University)|Jan 28, 2021

Misinformation and Its Impacts参考文献 19被引用数 10

ひとこと要約

本論文は、バランスの取れた英語圏のデータセットを用いたトランスファー学習を活用し、COVID-19関連のソーシャルメディア投稿を偽物か本物か分類するRoBERTaベースのモデルを提案する。モデルは公式テストセットにおいて98.64%のF1スコアを達成し、トッププレーヤーからたった0.05%の差で2位を獲得した。

ABSTRACT

The evolution of social media platforms have empowered everyone to access information easily. Social media users can easily share information with the rest of the world. This may sometimes encourage spread of fake news, which can result in undesirable consequences. In this work, we train models which can identify health news related to COVID-19 pandemic as real or fake. Our models achieve a high F1-score of 98.64%. Our models achieve second place on the leaderboard, tailing the first position with a very narrow margin 0.05% points.

研究の動機と目的

• COVID-19パンデミックの間、特にソーシャルメディアプラットフォームにおける誤情報の拡散という深刻な脅威に対処するため。
• 英語圏のソーシャルメディアコンテンツにおける本物と偽物の健康関連ニュースを区別できる堅牢なNLPモデルを開発するため。
• 従来の機械学習手法とトランスフォーマー基盤のモデルを含む、さまざまなNLP技術のフェイクニュース検出への有効性を評価するため。
• COVID-19パンデミック関連のフェイクニュース検出のための公開ベンチマークデータセットで高いパフォーマンスを達成するため。
• 自動検出による有害な誤情報の拡散を抑えることで、公衆衛生に貢献するため。

提案手法

• COVID-19関連の英語圏ソーシャルメディア投稿の大規模かつバランスの取れたデータセット上で、RoBERTa-base（堅牢なBERTの変種）を微調整した。
• Hugging FaceのTransformersライブラリを活用し、BERT、ELECTRA、XLNetを含む複数の事前学習済みトランスフォーマーモデルの効率的な微調整を実施した。
• 深層学習モデルに移行する前のベースライン特徴表現として、tf-idfおよびWord2Vec埋め込みを用いた。
• モデルがフェイクニュースを示すスタイル的特徴（例：ハッシュタグやメンションの過剰使用）を学習できるように、明示的な前処理（例：ハッシュタグやメンションの削除）を回避した。
• 訓練と検証用のデータセットを統合し、90:10の比率で訓練用と検証用に分割した。F1スコアを主な評価指標とした。
• 検証セットおよび公式テストセットの両方で結果を報告し、SVM、ナイーブベイズ、アンサンブル手法を含む複数のモデルのパフォーマンスを比較した。

実験結果

リサーチクエスチョン

• RQ1 RoBERTaのようなトランスフォーマー基盤のモデルは、COVID-19パンデミック関連のフェイクニュース検出において、従来の機械学習モデルを上回ることができるか？
• RQ2 事前学習済み言語モデルは、ソーシャルメディアにおけるフェイク健康ニュースに関連する微細な言語的パターンをどれほど効果的に特定できるか？
• RQ3 ハッシュタグの削除など、明示的な前処理を回避することで、フェイクニュース検出のモデルパフォーマンスにどのような影響があるか？
• RQ4 この特定のタスクにおいて、BERT、RoBERTa、ELECTRA、XLNetといった異なるアーキテクチャのモデルのパフォーマンスはどのように異なるか？
• RQ5 微調整されたRoBERTaモデルは、COVID-19フェイクニュース検出のための公開ベンチマークで最先端のパフォーマンスを達成できるか？

主な発見

• RoBERTa-baseモデルは公式テストセットで98.64%のF1スコアを達成し、トップモデルからたった0.05パーセンテージポイント差で2位にランクされた。
• 検証セットではRoBERTaモデルがF1スコア0.982を達成し、優れた汎化性能と頑健性を示した。
• ELECTRA-baseモデルは公式テストセットでF1スコア0.9827を達成し、リーダーモデルと同等の優れたパフォーマンスを示した。
• ベースラインモデルの中では、tf-idf埋め込みを用いたSVMが検証セットでF1スコア0.941を記録し、ナイーブベイズや線形分類器を上回った。
• RoBERTaモデルは、検証セットおよびテストセットの両方で、F1スコアおよび正答率の両面で、BERT や XLNet を含むすべてのベースラインモデルを大きく上回った。
• 本研究では、明示的な前処理を回避することで、フェイクニュースに共通する顕著な特徴（例：過剰なハッシュタグやメンション）をモデルが学習できることを確認した。