[논문 리뷰] A transformer based approach for fighting COVID-19 fake news

S. M. Sadiq-Ur-Rahman Shifath, Mohammad Faiyaz Khan외 1명|arXiv (Cornell University)|2021. 01. 28.

Misinformation and Its Impacts참고 문헌 21인용 수 31

한 줄 요약

이 논문은 MLP 헤드를 가진 8개의 Transformer 기반 사전학습 모델의 스태킹 앙상블을 구축하여 COVID-19 가짜 뉴스를 탐지하고 대회 테스트/검증 세트에서 약 0.98 정확도를 달성한다.

ABSTRACT

The rapid outbreak of COVID-19 has caused humanity to come to a stand-still and brought with it a plethora of other problems. COVID-19 is the first pandemic in history when humanity is the most technologically advanced and relies heavily on social media platforms for connectivity and other benefits. Unfortunately, fake news and misinformation regarding this virus is also available to people and causing some massive problems. So, fighting this infodemic has become a significant challenge. We present our solution for the "Constraint@AAAI2021 - COVID19 Fake News Detection in English" challenge in this work. After extensive experimentation with numerous architectures and techniques, we use eight different transformer-based pre-trained models with additional layers to construct a stacking ensemble classifier and fine-tuned them for our purpose. We achieved 0.979906542 accuracy, 0.979913119 precision, 0.979906542 recall, and 0.979907901 f1-score on the test dataset of the competition.

연구 동기 및 목표

• 영어로 된 COVID-19 가짜 뉴스 탐지의 효과를 연구하고 정보 과잉을 완화한다.
• 대회 데이터셋에 대한 텍스트 분류를 위해 다수의 Transformer 기반 사전학습 모델을 평가한다.
• 다양한 Transformer 표현을 활용한 앙상블 프레임워크를 개발하여 정확도를 향상시킨다.

제안 방법

• 8개의 트랜스포머 모델(BERT, GPT-2, XLNet, RoBERTa, DistilRoBERTa, ALBERT, BART, DeBERTa)을 각 모델별로 MLP 헤드를 추가하여 미세조정한다.
• 개별 모델의 예측을 바탕으로 최종 출력을 생성하는 메타러너(완전 연결 계층)를 학습한다.
• 트랜스포머 표현 위에서 RCNN, SVM, MLP를 실험하고 전통적 모델(Bi-LSTM, 1D-CNN, HAN, RCNN, AMCNN)과 비교한다.
• 모델 출력에서 1x8 특징 벡터를 메타러너에 입력하는 스태킹 앙상블을 구성한다.
• 추가 외부 데이터셋(FakeCovid)을 데이터 증강에 사용하고, 추가 데이터가 검증 성능에 미치는 영향을 평가한다.
• 학습률, 층 크기, 정규화를 통한 하이퍼파라파미터 튜닝으로 성능과 일반화 간의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 다수의 Transformer 모델에 MLP 헤드를 결합할 때 COVID-19 가짜 뉴스 탐지에서 성능 향상이 얼마나 나타나는가?
• RQ2 앙상블 학습이 Constraint@AAAI2021 데이터셋에서 개별 Transformer 모델 및 전통적 아키텍처와 비교하여 어떤 성능 차이를 보이는가?
• RQ3 외부 데이터를 추가하는 것이 클래스 불균형이나 데이터셋 시프트로 인해 검증 정확도에 이익이 되는가 아니면 해로운가?
• RQ4 다양한 메타러너 아키텍처가 모델 예측의 융합 성능에 어떤 영향을 미치는가?

주요 결과

모델	정확도	f1-score	정밀도	재현율	가짜	진짜
Ensemble-v1	0.981	0.980	0.982	0.980	0.983	0.981
Ensemble-v2	0.983	0.982	0.984	0.986	0.980	0.978	0.988
Ensemble-v3	0.984	0.983	0.984	0.983	0.984	0.982

• Transformer 베이스라인(RoBERTa, BERT)은 검증 데이터에서 전통적 모델보다 크게 우수하다.
• 트랜스포머의 최상위 계층 분류기가 강력한 결과를 낳으며, RCNN 또는 SVM과의 조합은 단순한 트랜스포머에 비해 우수하지 않았다.
• RoBERTa 및 다른 모델 위의 MLP가 성능을 개선하며, RoBERTa+MLP가 높은 지표를 달성한다.
• 여덟 개의 다양한 트랜스포머 모델을 활용한 앙상블(Ensemble-v3)이 가장 높은 검증 정확도(0.984)와 F1-score(0.983)를 달성한다.
• Ensemble-v1은 0.981 정확도, Ensemble-v2는 0.983 정확도, Ensemble-v3는 0.984 정확도(검증 세트)로 달성한다.
• 데이터를 더 추가하면 클래스 불균형으로 인해 성능이 감소할 수 있어 일반화 유지를 위해 최종 모델 학습에서는 추가 데이터를 생략했다.