[論文レビュー] Performance Analysis of Transformer Based Models (BERT, ALBERT and RoBERTa) in Fake News Detection

Shafna Fitria Nur Azizah, Hasan Dwi Cahyono+2 more|arXiv (Cornell University)|Aug 9, 2023

Edcuational Technology Systems被引用数 5

ひとこと要約

本研究では、多言語およびドメイン固有のデータセットを用いて、インドネシア語のフェイクニュース検出におけるBERT、ALBERT、RoBERTa、IndoBERTの性能を評価した。ALBERTは87.6%の正確度、86.9%の適合率、86.9%のF1スコアを達成し、多言語版BERT、IndoBERT、RoBERTaを上回った。また、1エポックあたり174.5秒の高速な推論時間を示した。

ABSTRACT

Fake news is fake material in a news media format but is not processed properly by news agencies. The fake material can provoke or defame significant entities or individuals or potentially even for the personal interests of the creators, causing problems for society. Distinguishing fake news and real news is challenging due to limited of domain knowledge and time constraints. According to the survey, the top three areas most exposed to hoaxes and misinformation by residents are in Banten, DKI Jakarta and West Java. The model of transformers is referring to an approach in the field of artificial intelligence (AI) in natural language processing utilizing the deep learning architectures. Transformers exercise a powerful attention mechanism to process text in parallel and produce rich and contextual word representations. A previous study indicates a superior performance of a transformer model known as BERT over and above non transformer approach. However, some studies suggest the performance can be improved with the use of improved BERT models known as ALBERT and RoBERTa. However, the modified BERT models are not well explored for detecting fake news in Bahasa Indonesia. In this research, we explore those transformer models and found that ALBERT outperformed other models with 87.6% accuracy, 86.9% precision, 86.9% F1-score, and 174.5 run-time (s/epoch) respectively. Source code available at: https://github.com/Shafna81/fakenewsdetection.git

研究の動機と目的

• 変換器ベースのモデル—BERT、ALBERT、RoBERTa、IndoBERT—のインドネシア語におけるフェイクニュース検出性能を評価すること。
• 多言語版BERT（BERT-Multilingual）とドメイン固有のIndoBERTの、インドネシア語のフェイクニュース文脈における有効性を比較すること。
• ALBERT や RoBERTa といった改善版BERTの変種が、低リソースで非英語のNLP環境において、標準版BERTよりも優れた結果をもたらすかどうかを調査すること。
• インドネシアのソーシャルメディア文脈におけるリアルタイムのフェイクニュース検出に最も効率的で正確なモデルを特定すること。

提案手法

• GitHubおよびMendeleyから入手した3つのインドネシア語フェイクニュースデータセットを用いて、BERT-Multilingual、IndoBERT、ALBERT、RoBERTaを微調整した。
• バッチサイズ16、50エポック、Adam最適化法、カテゴリカル交差エントロピー損失、ドロップアウト率0.5という一貫した学習設定を採用した。
• 標準的な自然言語処理評価指標（正確度、適合率、再現率、F1スコア）を用いて、モデルの性能を比較した。
• 全モデルに同一のランダムシード（12）を適用し、学習の一貫性を確保した。
• 計算効率を評価するために、1エポックあたりの学習時間を測定した。
• モデル実装および推論に、Hugging FaceのTransformersライブラリとPyTorchを用いた。

実験結果

リサーチクエスチョン

• RQ1 変換器ベースのモデル—BERT、ALBERT、RoBERTa、IndoBERT—の中で、インドネシア語のフェイクニュース検出において最も優れた性能を示すのはどれか？
• RQ2 多言語版BERT（BERT-Multilingual）とドメイン固有のIndoBERTの性能は、インドネシアの文脈においてどのように比較されるか？
• RQ3 ALBERTの効率性の向上とパラメータ数の削減が、フェイクニュース検出において、より優れた性能と高速な推論をもたらすか？
• RQ4 異なるトークナイザーと事前学習戦略が、モデルの正確度と推論速度に与える影響は何か？

主な発見

• ALBERTは、テストした全モデルの中で最高の正確度（87.6%）、適合率（86.9%）、F1スコア（86.9%）を達成した。
• RoBERTaは、ALBERTに比べて正確度（83.3%）と適合率（76.5%）が低かったが、176.15秒/エポックという高速な推論時間を示した。
• IndoBERTは、BERT-Multilingualを上回り、86.6%の正確度と86%のF1スコアを達成した。これは、ドメイン固有の事前学習が性能向上に寄与することを示唆している。
• BERT-Multilingualは、過去の研究では高い性能を示したが、同じ条件で再トレーニングしたところ、正確度が著しく低下（78%）した。これは、環境要因やハイパーパrameterの感受性を示している。
• ALBERTは、1エポックあたり174.5秒という最速の推論時間を記録し、RoBERTa や BERT-Multilingual をも上回った。
• 本研究は、トークナイザーの選択の重要性を強調し、低リソース言語におけるBERTベースのモデルのトークナイゼーション戦略のさらなる検討の必要性を示唆した。