[論文レビュー] TIB's Visual Analytics Group at MediaEval '20: Detecting Fake News on Corona Virus and 5G Conspiracy

Gullal S. Cheema, Sherzod Hakimov+1 more|arXiv (Cornell University)|Jan 1, 2020

Misinformation and Its Impacts参考文献 20被引用数 2

ひとこと要約

本論文は、COVID-19および5G陰謀論に関連するTwitter上のフェイクニュースを検出するためのBERTベースのアプローチを提示している。文脈的埋め込みとしてCOVIDチューニング済みBERTモデルを用い、squeeze-and-excitation操作を施した浅いニューラルネットワークを採用した。2クラス設定において、公式テストセットでMCC（マチューズ相関係数）0.6083を達成し、ヴァニラBERTを上回った。これは、誤情報検出におけるドメイン特化型事前学習とプーリング戦略の価値を示している。

ABSTRACT

Fake news on social media has become a hot topic of research as it negatively impacts the discourse of real news in the public. Specifi-cally, the ongoing COVID-19 pandemic has seen a rise of inaccurate and misleading information due to the surrounding controversies and unknown details at the beginning of the pandemic. The Fak-eNews task at MediaEval 2020 tackles this problem by creating a challenge to automatically detect tweets containing misinformation based on text and structure from Twitter follower network. In this paper, we present a simple approach that uses BERT embeddings and a shallow neural network for classifying tweets using only text, and discuss our findings and limitations of the approach in text-based misinformation detection.

研究の動機と目的

• COVID-19および5G陰謀論に関連するソーシャルメディア上の誤情報検出のためのテキストオンリーなアプローチの開発。
• ドメイン特化型BERT埋め込み（COVID Twitter BERT）とヴァニラBERTの比較による、陰謀論ツイート検出の有効性の評価。
• 文レベル分類のためのBERT埋め込みにおける異なるプーリング戦略の影響の調査。
• 感情分析、主観性、語彙的特徴などの追加言語的特徴が、このタスクにおける性能向上に寄与するかの評価。
• 2クラスと3クラス分類設定の間における、モデルの信頼性と性能指標のトレードオフの検討。

提案手法

• COVID関連のTwitterデータの大規模コーパスで微調整されたBERT-large埋め込み（COVID Twitter BERT）を用い、タスクドメインとの整合性を高めた。
• 正規化、スペル補正、ユーザー名、URL、メールアドレスの特殊トークンへの置換を含むテキスト前処理を実施。
• BERTの最後の4層の隠れ状態を、連結（4-CAT）または平均（4-SUM）によるプーリングで文レベル表現を抽出。また、単一層プーリング（LAST、2-LAST）の評価も実施。
• 128次元への射影の前に、特徴表現を強化するための2層の浅いニューラルネットワークにsqueeze-and-excitation（SE）操作を適用。
• バッチ正規化、ReLU活性化関数、ドロップアウト（0.2および0.5）、およびソフトマックス出力を持つ最終的な線形分類層を採用。
• 5つの5分割交差検証スプリットにおける予測の多数決を用い、3クラス提出では信頼度閾値0.4未満の場合は「判断不能」クラスに割り当てる。

実験結果

リサーチクエスチョン

• RQ1 COVID関連のTwitterデータで事前学習されたBERTモデルを用いることで、ヴァニラBERTに比べて誤情報検出性能が向上するか？
• RQ2 BERTの最後の隠れ状態の異なるプーリング戦略（例：連結、平均、単一層）が分類性能に与える影響は？
• RQ3 感情分析、主観性、語彙的特徴などの言語的特徴の追加が、検出精度の向上に寄与するか？
• RQ4 2クラスと3クラス分類の選択が、陰謀論ツイート検出におけるモデルの性能と信頼性に与える影響は？
• RQ5 ドメイン特化型事前学習は、新興の公衆衛生的トピックにおけるフェイクニュース検出におけるドメインギャップをどの程度低減するか？

主な発見

• COVID Twitter BERTモデルはヴァニラBERTを上回り、4層の微調整においてバリデーションセットでMCC 0.5952を達成したのに対し、ヴァニラBERTでは0.4611にとどまった。
• 2クラス分類設定は3クラス設定（MCC 0.5773）よりも高いMCCスコア（0.6083）を示し、非陰謀論と他の陰謀論クラスを統合することで性能が向上したことを示した。
• 複数層のプーリング戦略（4-CATおよび4-SUM）は単一層プーリング（LASTおよび2-LAST）を上回り、バリデーションセットで最高のMCC 0.5841を記録した。
• 感情分析、主観性、語彙的特徴の追加は性能向上に寄与せず、最終モデルから除外された。
• 2クラス設定において、公式テストセットでMCC 0.6083を達成し、未知データに対する強い一般化能力を示した。
• 信頼度に基づく「判断不能」クラスへの割り当て（閾値 < 0.4）は、不確実なケースの誤分類を低減するのに効果的であった。