[論文レビュー] COVID-19 Fake News Detection Using Bidirectional Encoder Representations from Transformers Based Models

Yu-Xiang Wang, Yongheng Zhang+2 more|arXiv (Cornell University)|Sep 30, 2021

Misinformation and Its Impacts参考文献 13被引用数 11

ひとこと要約

本稿では、COVID-19のフェイクニュースを検出するため、BiLSTMおよびCNN層を組み込んだBERTベースのモデルを提案する。BERTを微調整し、固定パラメータで上にBiLSTMを追加することで、最先端の性能を達成し、テスト精度が96.14%、F1スコアが0.9646に達した。これは、BiLSTMによる文脈モデリングが、CNNや単体のBERTよりも検出性能を向上させることを示している。

ABSTRACT

Nowadays, the development of social media allows people to access the latest news easily. During the COVID-19 pandemic, it is important for people to access the news so that they can take corresponding protective measures. However, the fake news is flooding and is a serious issue especially under the global pandemic. The misleading fake news can cause significant loss in terms of the individuals and the society. COVID-19 fake news detection has become a novel and important task in the NLP field. However, fake news always contain the correct portion and the incorrect portion. This fact increases the difficulty of the classification task. In this paper, we fine tune the pre-trained Bidirectional Encoder Representations from Transformers (BERT) model as our base model. We add BiLSTM layers and CNN layers on the top of the finetuned BERT model with frozen parameters or not frozen parameters methods respectively. The model performance evaluation results showcase that our best model (BERT finetuned model with frozen parameters plus BiLSTM layers) achieves state-of-the-art results towards COVID-19 fake news detection task. We also explore keywords evaluation methods using our best model and evaluate the model performance after removing keywords.

研究の動機と目的

• SNS上での誤解を招くCOVID-19関連のフェイクニュースを検出する課題に取り組む。フェイクコンテンツはしばしば事実と誤りが混在している。
• BERTにBiLSTMやCNNといった追加のニューラルアーキテクチャを組み合わせることで、フェイクニュース検出の性能を向上させる。
• 微調整時にBERTのパラメータを固定する影響を、下流分類性能に与える影響を評価する。
• キーワードの役割を、キーワードの削除によるモデルの注意メカニズムと性能変化の分析を通じて調査する。

提案手法

• Kaggleから入手した8,560件のCOVID-19関連ニュースツイートから成るバランスの取れたデータセットを用い、90%を訓練用、10%をテスト用に割り当て、事前学習済みBERTモデルを微調整した。
• BERTのトークン化、パディング、512トークンまでに切り詰め、可変長シーケンスを処理するためのアテンションマスクを適用した。
• 5つのモデルを構築した：BERT単体、BERT+CNN（微調整あり／なし）、BERT+BiLSTM（微調整あり／なし）、異なる構成での性能を比較した。
• 学習には交差エントロピー損失を使用し、モデルの評価には精度、ROC AUC、F1スコア、学習損失を用いた。
• キーワード分析として、フェイクニュース予測から頻出語を抽出し、削除することでその影響を評価した。
• モデルのパイプラインとアーキテクチャを可視化し、BERTと順序付き・畳み込み層の統合を図式で示した。

実験結果

リサーチクエスチョン

• RQ1 微調整済みBERTの上にBiLSTMまたはCNN層を追加することで、COVID-19関連コンテンツにおけるフェイクニュース検出性能が向上するか？
• RQ2 微調整時にBERTのパラメータを固定することで、フェイクニュース検出におけるモデルの精度と一般化性能にどのような影響を与えるか？
• RQ3 フェイクニュースに頻出するキーワードが、モデルの予測にどの程度寄与しているか。キーワード削除後の性能変化を測定することで評価する。
• RQ4 追加層による性能向上は、文脈モデリング（BiLSTM）の効果によるものか、特徴抽出（CNN）の効果によるものか？
• RQ5 学習率やエポック数といった異なるハイパーパramータ設定が、モデルの収束と評価指標に与える影響は？

主な発見

• パラメータを固定したBERTを微調整し、BiLSTM層を追加したモデル（モデル4）が、96.14%の最高テスト精度を記録し、他のすべての構成を上回った。
• モデル4はF1スコア0.9646、ROC AUC 0.9607を達成し、精度と再現率のバランスが優れていることを示した。
• 同じ条件下でBiLSTM層を追加した場合、CNN層を追加した場合よりも性能が向上した。これは、このタスクにおいて、順序付き文脈モデリングが局所的特徴抽出よりも効果的であることを示唆している。
• 微調整時にBERTのパラメータを固定することで、すべての層を微調整した場合よりも高い性能が得られた。これは、データセットサイズが限られていることと、過学習のリスクを回避するためと考えられる。
• フェイクニュース入力からの頻出キーワードを削除しても、モデル性能に顕著な低下は見られず、モデルが孤立した語よりも広範な文脈的パターンに依存していることが示された。
• 微調整済みBERTとBiLSTM層を組み合わせたモデル（モデル5）は、固定パラメータの対応モデルよりも性能が悪く、パラメータの固定が小さなデータセットにおける学習の安定化に寄与することが裏付けられた。