[논문 리뷰] Performance Analysis of Transformer Based Models (BERT, ALBERT and RoBERTa) in Fake News Detection

Shafna Fitria Nur Azizah, Hasan Dwi Cahyono외 2명|arXiv (Cornell University)|2023. 08. 09.

Edcuational Technology Systems인용 수 5

한 줄 요약

이 연구는 다국어 및 도메인 전용 데이터셋을 사용하여 바하사 인도네시아어에서 가짜 뉴스 탐지에 BERT, ALBERT, RoBERTa 및 IndoBERT를 평가한다. ALBERT는 87.6% 정확도, 86.9% 정밀도 및 86.9% F1 점수로 가장 높은 성능을 기록했으며, BERT-Multilingual, IndoBERT 및 RoBERTa를 능가했고, 174.5초/에포크의 더 빠른 추론 시간을 보였다.

ABSTRACT

Fake news is fake material in a news media format but is not processed properly by news agencies. The fake material can provoke or defame significant entities or individuals or potentially even for the personal interests of the creators, causing problems for society. Distinguishing fake news and real news is challenging due to limited of domain knowledge and time constraints. According to the survey, the top three areas most exposed to hoaxes and misinformation by residents are in Banten, DKI Jakarta and West Java. The model of transformers is referring to an approach in the field of artificial intelligence (AI) in natural language processing utilizing the deep learning architectures. Transformers exercise a powerful attention mechanism to process text in parallel and produce rich and contextual word representations. A previous study indicates a superior performance of a transformer model known as BERT over and above non transformer approach. However, some studies suggest the performance can be improved with the use of improved BERT models known as ALBERT and RoBERTa. However, the modified BERT models are not well explored for detecting fake news in Bahasa Indonesia. In this research, we explore those transformer models and found that ALBERT outperformed other models with 87.6% accuracy, 86.9% precision, 86.9% F1-score, and 174.5 run-time (s/epoch) respectively. Source code available at: https://github.com/Shafna81/fakenewsdetection.git

연구 동기 및 목표

• 트랜스포머 기반 모델인 BERT, ALBERT, RoBERTa 및 IndoBERT가 바하사 인도네시아어에서 가짜 뉴스 탐지 성능을 평가하기 위해.
• 다국어 BERT(BERT-Multilingual)와 도메인 특화 IndoBERT의 효과성을 인도네시아어 맥락에서 비교하기 위해.
• 표준 BERT보다 개선된 BERT 변종인 ALBERT와 RoBERTa가 저자원, 비영어 NLP 환경에서 더 나은 성능을 내는지 조사하기 위해.
• 인도네시아어 소셜 미디어 맥락에서 실시간 가짜 뉴스 탐지에 가장 효율적이고 정확한 모델을 특정하기 위해.

제안 방법

• GitHub 및 Mendeley에서 확보한 세 개의 인도네시아어 가짜 뉴스 데이터셋에 대해 BERT-Multilingual, IndoBERT, ALBERT 및 RoBERTa를 피지컬 트레이닝하였다.
• 일관된 트레이닝 설정을 위해 배치 크기 16, 50 에포크, Adam 옵timizer, 카테고리컬 크로스엔트로피 손실, 드롭아웃 비율 0.5를 사용하였다.
• 표준 NLP 평가 지표인 정확도, 정밀도, 재현율 및 F1 점수를 사용하여 모델 성능을 비교하였다.
• 모든 모델에서 동일한 난수 시드(12)를 적용하여 트레이닝 일관성을 확보하였다.
• 계산 효율성을 평가하기 위해 에포크당 학습 시간을 측정하였다.
• 모델 구현 및 추론을 위해 Hugging Face의 Transformers 라이브러리와 PyTorch를 사용하였다.

실험 결과

연구 질문

• RQ1 바하사 인도네시아어에서 가짜 뉴스 탐지에 가장 뛰어난 성능을 보이는 트랜스포머 기반 모델은 BERT, ALBERT, RoBERTa 또는 IndoBERT 중 어느 것인가?
• RQ2 다국어 BERT(BERT-Multilingual)의 성능은 인도네시아 맥락에서 도메인 특화 IndoBERT와 비교해 어떻게 다른가?
• RQ3 ALBERT의 효율성 향상과 파라미터 수 감소가 가짜 뉴스 탐지에서 더 나은 성능과 더 빠른 추론 시간을 이끌어내는가?
• RQ4 다양한 토크나이저와 사전 학습 전략이 모델 정확도 및 추론 속도에 어떤 영향을 미치는가?

주요 결과

• ALBERT는 테스트된 모든 모델 중에서 가장 높은 정확도(87.6%), 정밀도(86.9%) 및 F1 점수(86.9%)를 기록했다.
• RoBERTa의 정확도(83.3%)와 정밀도(76.5%)는 ALBERT보다 낮았지만, 176.15초/에포크의 빠른 추론 시간을 기록했다.
• IndoBERT는 BERT-Multilingual를 능가하여 86.6% 정확도와 86% F1 점수를 기록했으며, 이는 도메인 특화 사전 학습이 성능 향상에 기여함을 시사한다.
• 이전 연구에서 높은 성능를 기록했음에도 불구하고, BERT-Multilingual는 동일 조건에서 재학습한 결과 정확도가 78%로 크게 하락하여 환경 또는 하이퍼파라미터 민감성을 보여주었다.
• ALBERT는 가장 빠른 추론 시간(174.5초/에포크)을 기록하여 RoBERTa 및 BERT-Multilingual를 모두 앞섰다.
• 이 연구는 토크나이저 선택의 중요성을 강조하며, 저자원 언어에서 BERT 기반 모델의 토크나이제이션 전략에 대한 향후 탐색을 제안한다.