[논문 리뷰] COVID-19 Fake News Detection Using Bidirectional Encoder Representations from Transformers Based Models

Yu-Xiang Wang, Yongheng Zhang외 2명|arXiv (Cornell University)|2021. 09. 30.

Misinformation and Its Impacts참고 문헌 13인용 수 11

한 줄 요약

이 논문은 COVID-19 가짜 뉴스 탐지에 위해 BERT 기반 모델에 BiLSTM 및 CNN 레이어를 통합한 모델을 제안한다. BERT를 미세조정하고, 동결된 파rameter를 가진 BiLSTM을 추가함으로써, 모델은 최신 기술 성능을 달성하여 테스트 정확도 96.14%와 F1 스코어 0.9646를 기록하였다. 이는 BiLSTM에 의한 문맥 모델링이 CNN 또는 단독 BERT보다 탐지 성능을 향상시킨다는 것을 보여준다.

ABSTRACT

Nowadays, the development of social media allows people to access the latest news easily. During the COVID-19 pandemic, it is important for people to access the news so that they can take corresponding protective measures. However, the fake news is flooding and is a serious issue especially under the global pandemic. The misleading fake news can cause significant loss in terms of the individuals and the society. COVID-19 fake news detection has become a novel and important task in the NLP field. However, fake news always contain the correct portion and the incorrect portion. This fact increases the difficulty of the classification task. In this paper, we fine tune the pre-trained Bidirectional Encoder Representations from Transformers (BERT) model as our base model. We add BiLSTM layers and CNN layers on the top of the finetuned BERT model with frozen parameters or not frozen parameters methods respectively. The model performance evaluation results showcase that our best model (BERT finetuned model with frozen parameters plus BiLSTM layers) achieves state-of-the-art results towards COVID-19 fake news detection task. We also explore keywords evaluation methods using our best model and evaluate the model performance after removing keywords.

연구 동기 및 목표

• 소셜 미디어에서 사실과 거짓이 혼합된 가짜 콘텐츠가 퍼지기 쉬운 COVID-19 뉴스의 오해를 풀기 위한 과제를 해결하기 위해.
• BiLSTM 및 CNN과 같은 추가 신경망 아키텍처를 통해 사전 학습된 BERT의 성능을 향상시키기 위해.
• 미세조정 중 BERT 파라미터를 동결함으로써 최종 분류 성능에 미치는 영향을 평가하기 위해.
• 키워드의 역할을 분석하기 위해 가짜 뉴스에서 키워드 제거 후 모델 주의력과 성능 변화를 조사하기 위해.

제안 방법

• Kaggle에서 확보한 8,560개의 COVID-19 뉴스 트윗을 포함한 균형 잡힌 데이터셋을 사용하여 사전 학습된 BERT 모델을 미세조정하였으며, 학습에 90%, 테스트에 10%를 할당하였다.
• 변동 길이 시퀀스를 처리하기 위해 BERT 토크나이저를 적용하고, 패딩 및 최대 512 토큰으로 잘라내기, 어텐션 마스크를 사용하였다.
• 다섯 가지 모델을 구성: BERT-only, BERT+CNN (미세조정 유무 포함), BERT+BiLSTM (미세조정 유무 포함)으로 구성하여 다양한 설정 간 성능을 비교하였다.
• 학습에는 교차 엔트로피 손실를 사용하였고, 정확도, ROC AUC, F1 스코어, 학습 손실를 평가 지표로 사용하였다.
• 키워드 분석을 위해 가짜 뉴스 예측에서 빈도가 높은 상위 단어들을 추출하고 제거하여, 이들이 모델 출력에 미치는 영향을 평가하였다.
• 모델 파ip라인과 아키텍처를 시각화하여 BERT와 순차적 및 복합 레이어의 통합 방식을 설명하였다.

실험 결과

연구 질문

• RQ1 미세조정된 BERT 위에 BiLSTM 또는 CNN 레이어를 추가하면, COVID-19 뉴스에 대한 가짜 뉴스 탐지 성능이 향상되는가?
• RQ2 미세조정 중 BERT 파라미터를 동결하면, 가짜 뉴스 탐지에서 모델 정확도와 일반화 능력에 어떤 영향을 미치는가?
• RQ3 가짜 뉴스에서 빈도가 높은 상위 키워드들이 모델 예측에 얼마나 기여하는가? 이들의 제거 후 성능 변화를 통해 측정한다.
• RQ4 추가 레이어로 인한 성능 향상은 더 나은 문맥 모델링(BiLSTM) 때문인가, 아니면 국소적 특징 추출(CNN) 때문인가?
• RQ5 학습률 및 에포크 수와 같은 다양한 하이퍼파rameter 설정이 모델 수렴 및 평가 지표에 어떤 영향을 미치는가?

주요 결과

• 파라미터를 동결한 채로 미세조정된 BERT에 BiLSTM 레이어를 추가한 모델 4가 가장 높은 테스트 정확도 96.14%를 기록하여 모든 다른 설정보다 뛰어난 성능을 보였다.
• 모델 4는 F1 스코어 0.9646과 ROC AUC 0.9607을 기록하여 정밀도와 재현율의 균형이 잘 잡힌 성능을 보였다.
• 동일한 조건에서 BiLSTM 레이어를 추가한 경우 CNN 레이어보다 성능 향상이 뚜렷했으며, 이는 이 작업에 대해 순차적 문맥 모델링이 국소적 특징 추출보다 더 효과적임을 시사한다.
• 미세조정 중 BERT 파라미터를 동결한 경우 모든 레이어를 미세조정한 경우보다 성능이 뛰어났으며, 이는 데이터셋 크기가 제한되어 있고 과적합 위험이 있기 때문일 것이다.
• 가짜 뉴스 입력에서 빈도가 높은 키워드들을 제거하더라도 모델 성능에 유의미한 영향을 주지 않아, 모델이 고립된 단어보다는 더 넓은 문맥 패턴에 의존하고 있음을 시사한다.
• BERT를 미세조정하고 BiLSTM 레이어를 추가한 모델 5는 동결된 파라미터를 가진 모델보다 성능이 열 劣하므로, 파라미터 동결이 작은 데이터셋에서 학습 안정성을 높이는 데 기여한다는 점을 재확인한다.