[論文レビュー] Model Generalization on COVID-19 Fake News Detection

Yejin Bang, Etsuko Ishii+3 more|arXiv (Cornell University)|Jan 11, 2021

Misinformation and Its Impacts参考文献 38被引用数 6

ひとこと要約

本稿では、COVID-19のフェイクニュース検出におけるモデルの汎化性能を向上させる2つの手法を提案する：ノイズや誤標識の訓練データに対して頑健な損失関数を用いたBERTベースのモデルの微調整、および影響に基づくデータクリーニングによる有害な訓練インスタンスの除去。最良のモデルは、ホールドアウトされたテストセット（Tweets-19）で54.33%の重み付きF1を達成し、ベースラインモデルを著しく上回った。これは、データクリーニングが元のタスクのパフォーマンスを損なわずに汎化性能を向上させることを示している。

ABSTRACT

Amid the pandemic COVID-19, the world is facing unprecedented infodemic with the proliferation of both fake and real information. Considering the problematic consequences that the COVID-19 fake-news have brought, the scientific community has put effort to tackle it. To contribute to this fight against the infodemic, we aim to achieve a robust model for the COVID-19 fake-news detection task proposed at CONSTRAINT 2021 (FakeNews-19) by taking two separate approaches: 1) fine-tuning transformers based language models with robust loss functions and 2) removing harmful training instances through influence calculation. We further evaluate the robustness of our models by evaluating on different COVID-19 misinformation test set (Tweets-19) to understand model generalization ability. With the first approach, we achieve 98.13% for weighted F1 score (W-F1) for the shared task, whereas 38.18% W-F1 on the Tweets-19 highest. On the contrary, by performing influence data cleansing, our model with 99% cleansing percentage can achieve 54.33% W-F1 score on Tweets-19 with a trade-off. By evaluating our models on two COVID-19 fake-news test sets, we suggest the importance of model generalization ability in this task to step forward to tackle the COVID-19 fake-news problem in online social media platforms.

研究の動機と目的

• COVID-19のインフォデミック文脈におけるフェイクニュース検出のための頑健なモデルの開発を目的とする。
• 共有タスクベンチマークを超えた汎化性能を向上させるために、別個のテストセット（Tweets-19）を用いて評価することを目的とする。
• 頑健な損失関数と影響に基づくデータクリーニングがモデルパフォーマンスおよび汎化性能を向上させるかどうかを調査することを目的とする。
• 元のタスクのパフォーマンスとドメイン外データへの汎化性能の間のトレードオフを評価することを目的とする。
• フェイクニュース検出のような低リソースで高リスクなNLPタスクにおいて、より汎化可能なモデルを構築するためのフレームワークを提供することを目的とする。

提案手法

• ノイズや誤標識の訓練インスタンスに対して頑健性を向上させるために、対称的交差エントロピーおよび一般化交差エントロピーを含む頑健な損失関数を用いてRoBERTa-largeを微調整する。
• 影響関数分析を用いて、モデルの予測に与える影響が最も大きい訓練インスタンスを同定し、それらを削除する。
• クリーニング率を5%から99%まで変化させることで、モデルの汎化性能およびパフォーマンスに与える影響を評価する。
• 2つの異なるテストセット（CONSTRAINT 2021共有タスクデータセット（FakeNews-19）および独立したテストセット（Tweets-19））を用いてモデルを評価し、汎化性能を測定する。
• クラスごとのパフォーマンスとトレードオフを分析するために、バイナリF1、適合率、再現率スコアを用いる。
• 異なる損失関数およびクリーニングレベルにおけるモデルパフォーマンスを比較し、各技術が汎化性能に与える影響を分離する。

実験結果

リサーチクエスチョン

• RQ1 頑健な損失関数は、ドメイン外のフェイクニュース検出ベンチマークにおけるモデルの汎化性能を向上させることができるか？
• RQ2 影響に基づくデータクリーニングは、元のタスクのパフォーマンスを維持したまま、未観測のテストセットにおけるモデルパフォーマンスをどの程度向上させるか？
• RQ3 異なる評価セットにおいて、データクリーニング率とモデルパフォーマンスの最適なトレードオフは何か？
• RQ4 異なる損失関数およびデータクリーニング戦略は、フェイクニュース検出におけるクラスごとの適合率と再現率にどのように影響を与えるか？
• RQ5 あるフェイクニュースデータセットで学習したモデルは、同じドメイン内ではあるが異なるテストセットに効果的に汎化できるか？

主な発見

• 頑健な損失関数（カリキュラム損失）を用いて微調整したモデルは、FakeNews-19共有タスクで98.13%の重み付きF1を達成し、元のベンチマークで強いパフォーマンスを示した。
• ドメイン外のTweets-19テストセットでは、同じモデルはわずか38.18%の重み付きF1にとどまり、頑健な損失関数に依存するだけでは汎化性能が著しく低いことが示された。
• 影響に基づくデータクリーニングは汎化性能を顕著に向上させた：99%のクリーニング率でTweets-19で54.33%の重み付きF1を達成し、ベースラインモデル比で16.15%の向上を示した。
• 99%クリーニングのモデルはTweets-19で61.10%の正確度を達成し、挑戦的なドメイン外テストセットでも強いパフォーマンスを示した。
• クリーニング率が上昇するにつれ、本物のニュースの再現率が向上（71.50%まで）し、フェイクニュースの適合率も上昇（37.17%まで）した。これは、真の本物のコンテンツをよりよく検出できることを示している。
• 影響に基づくクリーニング手法は、Tweets-19セットにおいて、フェイクラベルのF1でベースラインモデルを8.37%、リアルラベルのF1で38.17%上回り、汎化性能向上に有効であることが確認された。