[論文レビュー] Constraint 2021: Machine Learning Models for COVID-19 Fake News Detection Shared Task

Thomas Felber|arXiv (Cornell University)|Jan 11, 2021

Misinformation and Its Impacts参考文献 20被引用数 22

ひとこと要約

本論文は、n-gram、読みやすさ、感情的トーン、標点など、言語的特徴を用いて、COVID-19関連のソーシャルメディア投稿を偽物または本物に分類する古典的機械学習手法を提示する。最高の性能を示したモデルは、包括的な前処理と特徴工学を施した線形SVMであり、共有タスクにおけるテストセットで95.19％の重み付きF1スコアを達成し、全167件の提出の中での順位は80位であった。

ABSTRACT

In this system paper we present our contribution to the Constraint 2021 COVID-19 Fake News Detection Shared Task, which poses the challenge of classifying COVID-19 related social media posts as either fake or real. In our system, we address this challenge by applying classical machine learning algorithms together with several linguistic features, such as n-grams, readability, emotional tone and punctuation. In terms of pre-processing, we experiment with various steps like stop word removal, stemming/lemmatization, link removal and more. We find our best performing system to be based on a linear SVM, which obtains a weighted average F1 score of 95.19% on test data, which lands a place in the middle of the leaderboard (place 80 of 167).

研究の動機と目的

• COVID-19パンデミック期におけるソーシャルメディア上の誤情報分類の課題に対処すること。
• 多様な言語的特徴を用いた古典的機械学習モデルのフェイクニュース検出における有効性を評価すること。
• 分類性能の向上を目的とした前処理パイプラインと特徴組み合わせの最適化を行うこと。
• 英語向けフェイクニュース検出のConstraint 2021共有タスクに参加し、貢献すること。
• 手動でアノテートされたデータセットを用いて、93.46％のベースラインF1スコアに対する性能ベンチマークを設定すること。

提案手法

• 本システムは、線形SVM、ロジスティック回帰、ランダムフォレスト、ナイーブベイズ、マルチレイヤーパーセプトロンといった古典的機械学習モデルを採用する。
• テキスト前処理には、小文字変換、リンクの削除、ストップワードの削除、リプライの削除、XMLエンティティの置換、NLTKのTweetTokenizerを用いた語形還元が含まれる。
• 前処理済みテキストから言語的特徴が抽出され、その内容にはunigramおよびbigram（n-gram）、Flesch Reading Ease（読みやすさ）、標点記号の数（AllPunc、QMark、Exclam）、およびLIWCを用いた感情的トーン（Tone、affect、social、Authentic）が含まれる。
• 各モデルの最適な構成を特定するために、ハイパーパramータと特徴組み合わせのグリッドサーチが実施された。
• 最良の性能を示したモデルは、検証セットの性能に基づき選択され、最終的なテストセット予測に使用された。
• 5回のシステム実行が提出され、各モデルごとに1回ずつであり、その中で線形SVMが最高のテストF1スコアを記録した。

実験結果

リサーチクエスチョン

• RQ1 COVID-19フェイクニュースのソーシャルメディア投稿分類において、どの古典的機械学習モデルが最も優れた性能を示すか？
• RQ2 n-gram、読みやすさ、感情的トーン、標点記号といった異なる言語的特徴の組み合わせが、分類性能にどのように影響を与えるか？
• RQ3 フェイクニュース検出の正確性を向上させるために、最適な前処理パイプラインは何か？
• RQ4 特徴工学とモデル選択を組み合わせることで、93.46％のベースラインF1スコアを上回る性能はどの程度達成できるか？
• RQ5 単一の特徴を個別に使用するのと比較して、複数の言語的特徴タイプを組み合わせることで性能はどのように向上するか？

主な発見

• 線形SVMモデルは、検証セットで95.70％の最高の重み付き平均F1スコアを達成し、93.46％のベースラインを上回った。
• 最良のシステムは、線形SVMと完全な特徴および前処理パイプラインを組み合わせたものであり、テストセットで95.19％のF1スコアを達成し、全167名の参加者の中での順位は80位であった。
• 包括的な前処理を施したn-gram特徴のみでも94.89％のF1スコアを達成し、追加の特徴がなくても強力な性能を示した。
• 読みやすさ、標点記号、感情的トーンの特徴を個別に組み合わせた場合、それぞれ57.58％、49.17％、59.22％のF1スコアにとどまったが、それらを組み合わせることで67.21％に向上した。
• 検証セットにおいて、93.46％のベースラインF1スコアを上回ったのは、線形SVMとロジスティック回帰の2つのモデルに限った。
• 最良のSVMモデルの混同行列は、適合率と再現率がバランスしており、検証データに対する堅牢な一般化能力を示していた。