[論文レビュー] Transformer-based Language Model Fine-tuning Methods for COVID-19 Fake News Detection

Ben Chen, Bin Chen+6 more|arXiv (Cornell University)|Jan 14, 2021

Misinformation and Its Impacts参考文献 18被引用数 5

ひとこと要約

本稿では、ドメイン特化語彙の強化、加熱型ソフトマックス損失を用いたハードネガティブマイニング、耐性向上のための adversarial training、および RoBERTa と CT-BERT の特徴の統合を組み合わせた、COVID-19 のフェイクニュース検出を目的とした微調整済みトランスフォーマーモデル Ro-CT-BERT を提案する。ベンチマークデータセット上で、99.02% の最先端の加重平均 F1 スコアを達成した。

ABSTRACT

With the pandemic of COVID-19, relevant fake news is spreading all over the sky throughout the social media. Believing in them without discrimination can cause great trouble to people's life. However, universal language models may perform weakly in these fake news detection for lack of large-scale annotated data and sufficient semantic understanding of domain-specific knowledge. While the model trained on corresponding corpora is also mediocre for insufficient learning. In this paper, we propose a novel transformer-based language model fine-tuning approach for these fake news detection. First, the token vocabulary of individual model is expanded for the actual semantics of professional phrases. Second, we adapt the heated-up softmax loss to distinguish the hard-mining samples, which are common for fake news because of the disambiguation of short text. Then, we involve adversarial training to improve the model's robustness. Last, the predicted features extracted by universal language model RoBERTa and domain-specific model CT-BERT are fused by one multiple layer perception to integrate fine-grained and high-level specific representations. Quantitative experimental results evaluated on existing COVID-19 fake news dataset show its superior performances compared to the state-of-the-art methods among various evaluation metrics. Furthermore, the best weighted average F1 score achieves 99.02%.

研究の動機と目的

• 一般言語モデルが、COVID-19 パニック期における短いドメイン特化フェイクニュースの検出において性能が低い問題に対処すること。
• 標準トークナイザーがレアな専門用語をサブトークンに分割することによって引き起こされる意味理解の制限を克服すること。
• 短く曖昧なテキストを持つ困難な分類対象のフェイクニュースに対して、モデルの汎化性能と耐性を向上させること。
• 普遍的モデル（RoBERTa）の細粒度表現と CT-BERT の高レベルのドメイン特化特徴を統合することで、検出性能を向上させること。
• 統合された手法的改善を通じて、既存の COVID-19 フェイクニュース検出ベンチマークで優れた性能を達成すること。

提案手法

• 意味の整合性を保ち、サブトークンへの分解を回避するために、基本モデルのトークン語彙を頻出する専門用語で拡張する。
• ハードネガティブサンプルに注目するように、加熱型ソフトマックス損失を適応させ、短いテキスト分類における識別性能を向上させる。
• 入力埋め込みを摂動させる FGM（Fast Gradient Method）を用いた adversarial training を適用し、モデルの耐性を強化する。
• マルチレイヤーパーセプトロンを用いて RoBERTa と CT-BERT の予測特徴を統合し、細粒度表現とドメイン特化特徴を融合する。
• 広範なデータ拡張とドメイン特化事前学習を施した、洗練された COVID-19 フェイクニュースデータセット上で最終モデルを学習する。
• アブレーションスタディを用いて、各コンポonent（adversarial training、損失関数、語彙拡張）の寄与を検証する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化語彙をモデル語彙に拡張することで、専門的で短いフェイクニュースにおける意味理解が向上するか？
• RQ2 加熱型ソフトマックス損失関数を適用することで、フェイクニュース検出におけるハードネガティブサンプルの区別能力が向上するか？
• RQ3 adversarial training は、リソースが限られた短いテキスト分類タスクにおける耐性と汎化性能をどの程度向上させるか？
• RQ4 普遍的言語モデル（RoBERTa）とドメイン特化モデル（CT-BERT）の特徴統合は、フェイクニュース検出においてどの程度有効か？
• RQ5 複数の改善を統合した場合、最先端手法と比較して全体的な検出性能にどのような影響を与えるか？

主な発見

• 提案された Ro-CT-BERT モデルは、加重平均 F1 スコアが 99.02% に達し、すべてのベースラインモデルを大きく上回った。
• アブレーションスタディにより、adversarial training、加熱型ソフトマックス損失、語彙拡張の各コンポーネントが性能向上に寄与していることが確認された。
• 加熱型ソフトマックス損失が最も顕著な改善をもたらし、ベースラインの CT-BERT モデルに比べて F1 スコアを 0.0028 ポイント向上させた。
• adversarial training（FGM）により、F1 スコアが 0.0023 ポイント向上し、困難なサンプルにおける汎化性能の向上が示された。
• 語彙拡張のみでも F1 スコアが 0.0005 ポイント向上し、希少な医療用語の意味の保持に寄与することが確認された。
• 3 つのコンポーネント（CT-BERT-TRM）を統合した完全なモデルは F1 スコア 98.78% を達成したが、RoBERTa 特徴と統合することでさらに向上し、99.02% に到達した。