[論文レビュー] Transformer based Automatic COVID-19 Fake News Detection System

Sunil Gundapu, Radhika Mamidi|arXiv (Cornell University)|Jan 1, 2021

Misinformation and Its Impacts参考文献 26被引用数 55

ひとこと要約

本論文はCOVID-19の偽ニュース検出のための transformer ベースのアンサンブル（BERT, ALBERT, XLNet）を提案し、ConstraintAI 2021 English データセットで 0.9855 F1-score を達成し、160 チーム中 5 位にランクインした。

ABSTRACT

Recent rapid technological advancements in online social networks such as Twitter have led to a great incline in spreading false information and fake news. Misinformation is especially prevalent in the ongoing coronavirus disease (COVID-19) pandemic, leading to individuals accepting bogus and potentially deleterious claims and articles. Quick detection of fake news can reduce the spread of panic and confusion among the public. For our analysis in this paper, we report a methodology to analyze the reliability of information shared on social media pertaining to the COVID-19 pandemic. Our best approach is based on an ensemble of three transformer models (BERT, ALBERT, and XLNET) to detecting fake news. This model was trained and evaluated in the context of the ConstraintAI 2021 shared task COVID19 Fake News Detection in English. Our system obtained 0.9855 f1-score on testset and ranked 5th among 160 teams.

研究の動機と目的

• SNS上でのCOVID-19 に関する誤情報の拡散を動機づけ、対処する。
• トランスフォーマーモデルを活用した効率的なフェイクニュース検出システムを開発する。
• 標準的なCOVID-19のフェイクニュースデータセット上で、単一モデルとアンサンブルモデルのトランスフォーマーを評価する。

提案手法

• 感情記号の正規化、ハッシュタグ処理、ステミング、クリーニングを用いてソーシャルメディアのテキストを前処理する。
• TF-IDF、GloVe 埋め込み、ニューラルアーキテクチャを用いて、従来の機械学習、深層学習、そしてトランスフォーマーアプローチを比較する。
• HuggingFace を用いて BERT、ALBERT、XLNet をファインチューニングおよびアンサンブルし、最終決定のために softmax 確率の平均を取る。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーモデル（BERT、ALBERT、XLNet）は、従来の ML/DL メソッドと比較して COVID-19 の偽ニュース検出でどの程度の性能を示すか？
• RQ2 複数のトランスフォーマーをアンサンブルすることで、個々のモデルより検出性能が向上するか？
• RQ3 提案手法のモデルは ConstraintAI 2021 COVID-19 Fake News English データセットでどの程度の性能を示すか？

主な発見

• BERT、ALBERT、XLNet のアンサンブルがテストセットで最高の F1 スコア 0.9855 を達成。
• Transformer-based models outperform classical ML and some DL models on the task.
• Individual transformers (BERT, XLNet, ALBERT) show strong but slightly lower performance than the ensemble.
• The system ranked 5th among 160 teams in the ConstraintAI 2021 shared task.