[論文レビュー] A transformer based approach for fighting COVID-19 fake news

S. M. Sadiq-Ur-Rahman Shifath, Mohammad Faiyaz Khan+1 more|arXiv (Cornell University)|Jan 28, 2021

Misinformation and Its Impacts参考文献 21被引用数 31

ひとこと要約

本論文は、MLPヘッドを備えたeightのtransformerベースの事前学習モデルのスタッキング・アンサンブルを用い COVID-19偽ニュースを検出し、競技テスト/検証セットで約0.98の精度を達成した。

ABSTRACT

The rapid outbreak of COVID-19 has caused humanity to come to a stand-still and brought with it a plethora of other problems. COVID-19 is the first pandemic in history when humanity is the most technologically advanced and relies heavily on social media platforms for connectivity and other benefits. Unfortunately, fake news and misinformation regarding this virus is also available to people and causing some massive problems. So, fighting this infodemic has become a significant challenge. We present our solution for the "Constraint@AAAI2021 - COVID19 Fake News Detection in English" challenge in this work. After extensive experimentation with numerous architectures and techniques, we use eight different transformer-based pre-trained models with additional layers to construct a stacking ensemble classifier and fine-tuned them for our purpose. We achieved 0.979906542 accuracy, 0.979913119 precision, 0.979906542 recall, and 0.979907901 f1-score on the test dataset of the competition.

研究の動機と目的

• 情報過多（infodemic）と戦うため、英語のCOVID-19偽ニュースの効果的検出を調査する。
• 競技データセットに対して、テキスト分類のための複数のtransformerベースの事前学習モデルを評価する。
• 多様なtransformer表現を活用して精度を向上させるアンサンブルフレームワークを開発する。

提案手法

• 各モデルにMLPヘッドを追加して、eightつのtransformerモデル（BERT、GPT-2、XLNet、RoBERTa、DistilRoBERTa、ALBERT、BART、DeBERTa）をファインチューニングする。
• 個々のモデルの予測を用いて、最終出力を生成するメタラーナー（全結合層）を訓練する。
• トランスフォーマー表現の上にRCNN、SVM、MLPを組み合わせた実験を行い、従来のモデル（Bi-LSTM、1D-CNN、HAN、RCNN、AMCNN）と比較する。
• モデル出力からの1x8の特徴ベクトルをメタラーナーに入力するスタッキング・アンサンブルを構築する。
• 追加の外部データセット（FakeCovid）をデータ拡張に利用し、追加データが検証性能に与える影響を評価する。
• 学習率、層サイズ、正則化などのハイパーパラメータを調整して、性能と過学習のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 複数のtransformerモデルをMLPヘッドと組み合わせると、COVID-19偽ニュース検出の性能はどの程度向上するか？
• RQ2 Constraint@AAAI2021データセットにおいて、アンサンブル学習は個別のtransformerモデルや従来のアーキテクチャと比較してどうか？
• RQ3 外部データの追加は、クラスの不均衡やデータセットの移動によって検証精度を向上させるか、それとも害になるか？
• RQ4 さまざまなメタラーナーアーキテクチャがモデル予測の融合性能に与える影響は何か？

主な発見

Model	Accuracy	f1-score	Precision	Recall	Fake	Real
Ensemble-v1	0.981	0.980	0.982	0.980	0.983	0.981
Ensemble-v2	0.983	0.982	0.984	0.986	0.980	0.978	0.988
Ensemble-v3	0.984	0.983	0.984	0.983	0.984	0.982

• Transformerのベースライン（RoBERTa、BERT）は検証データで従来のモデルを大幅に上回る。
• transformer上の単純なトップレイヤー分類器は高い性能を示し、RCNNやSVMとの組み合わせは単純なtransformerを上回らなかった。
• RoBERTaなどのモデルの上にMLPを追加すると性能が向上し、RoBERTa+MLPは高い指標を達成。
• 8つの多様なtransformerモデルをアンサンブルする Ensemble-v3 が、最高の検証精度(0.984)とF1スコア(0.983)を達成。
• Ensemble-v1 は0.981、Ensemble-v2 は0.983、Ensemble-v3 は0.984 の検証精度を達成。
• データを追加するとクラス不均衡の影響で性能が低下する場合があり、一般化を維持するため最終モデル訓練では追加データを省略。