[논문 리뷰] Fake News Detection in Spanish Using Deep Learning Techniques

Kevin Martínez-Gallego, Andrés M. Álvarez-Ortiz외 1명|arXiv (Cornell University)|2021. 10. 13.

Misinformation and Its Impacts참고 문헌 9인용 수 12

한 줄 요약

이 논문은 사전 훈련된 언어 모델을 사용한 전이 학습 기반으로 스페인어에서 가짜 뉴스 탐지에 대한 딥러닝 접근법을 제안한다. 평가된 전략으로는 스페인어 데이터에 대한 미세조정, 영어 모델을 사용한 영어 사전 훈련, 기계 번역 전략이 포함되어 있다. 가장 뛰어난 성능을 보인 모델은 스페인어 BERT의 변종인 BETO와 LSTM 네트워크를 조합한 것으로, 80%의 정확도를 기록하며 기존의 고전적 모델들(예: 랜덤 포레스트)을 능가했으며, 자원이 적은 언어에 대해 언어 특화 사전 훈련의 중요성을 강조한다.

ABSTRACT

This paper addresses the problem of fake news detection in Spanish using Machine Learning techniques. It is fundamentally the same problem tackled for the English language; however, there is not a significant amount of publicly available and adequately labeled fake news in Spanish to effectively train a Machine Learning model, similarly to those proposed for the English language. Therefore, this work explores different training strategies and architectures to establish a baseline for further research in this area. Four datasets were used, two in English and two in Spanish, and four experimental schemes were tested, including a baseline with classical Machine Learning models, trained and validated using a small dataset in Spanish. The remaining schemes include state-of-the-art Deep Learning models trained (or fine-tuned) and validated in English, trained and validated in Spanish, and fitted in English and validated with automatic translated Spanish sentences. The Deep Learning architectures were built on top of different pre-trained Word Embedding representations, including GloVe, ELMo, BERT, and BETO (a BERT version trained on a large corpus in Spanish). According to the results, the best strategy was a combination of a pre-trained BETO model and a Recurrent Neural Network based on LSTM layers, yielding an accuracy of up to 80%; nonetheless, a baseline model using a Random Forest estimator obtained similar outcomes. Additionally, the translation strategy did not yield acceptable results because of the propagation error; there was also observed a significant difference in models performance when trained in English or Spanish, mainly attributable to the number of samples available for each language.

연구 동기 및 목표

• 강력한 기계 학습 모델을 훈련하기 위한 대규모, 공개 가능하며 적절하게 레이블이 부여된 스페인어 가짜 뉴스 데이터셋의 부족을 해결하기 위해.
• GloVe, ELMo, BERT, BETO와 같은 사전 훈련된 임bedding을 사용한 전이 학습 전략을 평가하여 스페인어에서의 가짜 뉴스 탐지 성능을 분석하기 위해.
• 영어 데이터로 훈련한 모델와 스페인어 데이터로 훈련한 모델의 성능를 비교하고, 영어로 훈련된 모델를 스페인어 사용에 적용할 수 있는지 평가하기 위해.
• 딥러닝 및 전이 학습 기법을 활용한 스페인어 가짜 뉴스 탐지 분야의 향후 연구를 위한 기초 성능 기준을 수립하기 위해.

제안 방법

• 네 가지 실험적 설계를 평가함: (1) 소규모 스페인어 데이터셋을 사용한 고전적 기계 학습, (2) 스페인어 데이터에 대해 최신 딥러닝 모델을 미세조정, (3) 영어 데이터로 훈련하고 스페인어 데이터로 검증, (4) 영어 데이터로 훈련하고 기계 번역된 스페인어 텍스트로 검증.
• GloVe, ELMo, BERT, BETO와 같은 사전 훈련된 단어 임베딩을 딥러닝 아키텍처의 기반으로 사용함.
• 뉴스 기사가 가짜인지 진짜인지 분류하기 위해 임베딩 위에 LSTM 및 CNN 기반 신경망을 구축함.
• 과적합을 완화하기 위해 조기 정지와 정규화 기법을 적용하였으며, 특히 데이터가 적은 환경에서 효과적이었음.
• 텍스트 전처리 과정으로 불용어 제거와 어간 추출을 수행하였지만, 이들의 성능에 미치는 영향은 미미함.
• 정확도, F1 점수, 혼동 행렬을 사용해 성능을 평가하였으며, 데이터 효율성을 분석하기 위해 학습 곡선을 활용함.

실험 결과

연구 질문

• RQ1 BETO와 같은 사전 훈련된 언어 모델을 사용한 전이 학습이 영어 기반 모델에 비해 스페인어에서 가짜 뉴스 탐지 정확도를 크게 향상시킬 수 있는가?
• RQ2 스페인어 데이터로 훈련 및 검증하는 것과 영어로 훈련된 모델를 스페인어 사용에 번역하여 적용하는 것의 성능 차이는 어떻게 다른가?
• RQ3 자원이 적은 언어인 스페인어와 같은 언어에서 데이터 부족이 모델 일반화 능력에 미치는 영향은 무엇인가?
• RQ4 기존의 TF-IDF 및 고전적 기계 학습 모델을 초월해 의미적 특징이나 고급 임베딩을 사용할 경우 탐지 성능이 향상되는가?

주요 결과

• 가장 뛰어난 성능을 보인 모델은 BETO 임베딩과 LSTM 네트워크의 조합으로, 스페인어 테스트 세트에서 80%의 정확도를 기록함.
• TF-IDF 표현을 사용한 랜덤 포레스트 분류기 역시 80%의 정확도를 달성하여, 소규모 데이터셋에서는 고전적 기계 학습 모델이 딥러닝 모델과 유사한 성능을 낼 수 있음을 보여줌.
• 번역 기반 전략(영어 데이터로 훈련하고 번역된 스페인어 텍스트로 검증)은 번역 오류와 어휘 불일치로 인해 성능이 크게 떨어져 낮은 정확도를 기록함.
• 영어 데이터로 훈련한 모델가 스페인어 데이터로 훈련한 모델보다 뛰어난 성능을 보였으며, 주로 영어 데이터에 더 많은 훈련 샘플이 존재하기 때문임.
• 혼동 행렬 분석 결과, 주요 오류 유형은 가짜 뉴스를 진짜로 잘못 분류한 것으로, 약간의 조작 패tern을 간과하는 경향이 있음.
• 정확도는 유사했지만, BETO + LSTM 모델은 더 많은 레이블이 있는 데이터로 향후 성능 향상 잠재력이 더 크며, 고전적 모델 대비 확장성의 이점이 있음.