[論文レビュー] Fake News Detection in Spanish Using Deep Learning Techniques

Kevin Martínez-Gallego, Andrés M. Álvarez-Ortiz+1 more|arXiv (Cornell University)|Oct 13, 2021

Misinformation and Its Impacts参考文献 9被引用数 12

ひとこと要約

本稿では、事前学習された言語モデルを用いた転移学習を用いてスペイン語のフェイクニュース検出のためのディープラーニング手法を提案する。評価された戦略には、スペイン語データにおける微調整、英語モデルを用いた英語事前学習、機械翻訳の適用が含まれる。最も優れた性能を示したモデルは、スペイン語BERTの変種であるBETOとLSTMネットワークの組み合わせであり、80%の正解率を達成し、ランダムフォレストなどの古典的モデルを上回った。これは、低リソース言語において言語固有の事前学習が重要であることを示している。

ABSTRACT

This paper addresses the problem of fake news detection in Spanish using Machine Learning techniques. It is fundamentally the same problem tackled for the English language; however, there is not a significant amount of publicly available and adequately labeled fake news in Spanish to effectively train a Machine Learning model, similarly to those proposed for the English language. Therefore, this work explores different training strategies and architectures to establish a baseline for further research in this area. Four datasets were used, two in English and two in Spanish, and four experimental schemes were tested, including a baseline with classical Machine Learning models, trained and validated using a small dataset in Spanish. The remaining schemes include state-of-the-art Deep Learning models trained (or fine-tuned) and validated in English, trained and validated in Spanish, and fitted in English and validated with automatic translated Spanish sentences. The Deep Learning architectures were built on top of different pre-trained Word Embedding representations, including GloVe, ELMo, BERT, and BETO (a BERT version trained on a large corpus in Spanish). According to the results, the best strategy was a combination of a pre-trained BETO model and a Recurrent Neural Network based on LSTM layers, yielding an accuracy of up to 80%; nonetheless, a baseline model using a Random Forest estimator obtained similar outcomes. Additionally, the translation strategy did not yield acceptable results because of the propagation error; there was also observed a significant difference in models performance when trained in English or Spanish, mainly attributable to the number of samples available for each language.

研究の動機と目的

• 堅固な機械学習モデルを訓練するための、大規模で公開可能で適切にラベル付けされたスペイン語フェイクニュースデータセットの不足に対処すること。
• GloVe、ELMo、BERT、BETOといった事前学習済み埋め込みを用いた転移学習戦略を評価し、スペイン語におけるフェイクニュース検出に応用すること。
• 英語データとスペイン語データでの学習を比較し、英語で学習したモデルをスペイン語用途に翻訳して適用する可能性を評価すること。
• ディープラーニングと転移学習技術を用いて、将来のスペイン語フェイクニュース検出研究のためのベースラインを確立すること。

提案手法

• 4つの実験的アプローチを評価した：(1) 小規模なスペイン語データセットを用いた古典的機械学習、(2) スペイン語データに対して最先端のディープラーニングモデルを微調整する、(3) 英語データで学習しスペイン語データで検証する、(4) 英語データで学習し機械翻訳されたスペイン語テキストで検証する。
• GloVe、ELMo、BERT、BETOを含む事前学習済み単語埋め込みを、ディープラーニングアーキテクチャの基盤として使用した。
• LSTMおよびCNNベースのニューラルネットワークを埋め込みの上に積み重ね、ニュースがフェイクか本物かを分類した。
• 過学習を緩和するために、エアリー・ストッピングと正則化を採用した。特にデータ量が少ない状況での有効性が確認された。
• テキスト前処理にはストップワードの除去とステミングを実施したが、性能への影響は限定的であった。
• 性能評価には正解率、F1スコア、混同行列を用い、データ効率を分析するために学習曲線も使用した。

実験結果

リサーチクエスチョン

• RQ1 BETOのような事前学習済み言語モデルを用いた転移学習は、英語ベースのモデルと比較して、スペイン語におけるフェイクニュース検出の正解率を顕著に向上させるか？
• RQ2 スペイン語データで学習・検証する場合と、英語で学習したモデルをスペイン語用途に翻訳して適用する場合とで、性能にどのような差が生じるか？
• RQ3 データ不足が、特にスペイン語のような低リソース言語におけるモデルの一般化性能に与える影響は何か？
• RQ4 従来のTF-IDFや古典的機械学習モデルを上回る、意味的特徴や高度な埋め込みの使用は、検出性能に寄与するか？

主な発見

• 最も優れた性能を示したモデルは、BETO埋め込みとLSTMネットワークの組み合わせであり、スペイン語テストセットで80%の正解率を達成した。
• TF-IDF表現を用いたランダムフォレスト分類器も80%の正解率を達成し、小規模データセットでは古典的機械学習がディープラーニングと同等の性能を示す可能性を示した。
• 翻訳ベースの戦略（英語で学習し翻訳されたスペイン語で検証）は性能が著しく低く、翻訳エラーと語彙の不一致が原因で正解率が大きく低下した。
• 英語データで学習したモデルがスペイン語データで学習したモデルを上回った。これは、英語で利用可能な学習サンプル数が多いためである。
• 混同行列から、主な誤りタイプはフェイクニュースを本物と誤分類することであることが判明し、微細な操作パターンを無視する傾向があることが示された。
• 正解率は同程度であったが、BETO + LSTMモデルはより多くのラベル付きデータが与えられればさらなる改善が期待できるため、古典的モデルに比べてスケーラビリティの優位性を示した。