[논문 리뷰] Identifying COVID-19 Fake News in Social Media

Tathagata Raha, Indurthi외 5명|arXiv (Cornell University)|2021. 01. 28.

Misinformation and Its Impacts참고 문헌 19인용 수 10

한 줄 요약

이 논문은 COVID-19 관련 소셜 미디어 게시물을 가짜 또는 진실로 분류하기 위해 RoBERTa 기반 모델을 제안하며, 균형 잡힌 영어 데이터셋을 기반으로 전이 학습을 활용한다. 모델은 공식 테스트 세트에서 SOTA 성능을 기록하며 F1 스코어 98.64%를 달성하여 단지 0.05%의 격차로 1위를 기록한 팀에 이어 2위를 차지하였다.

ABSTRACT

The evolution of social media platforms have empowered everyone to access information easily. Social media users can easily share information with the rest of the world. This may sometimes encourage spread of fake news, which can result in undesirable consequences. In this work, we train models which can identify health news related to COVID-19 pandemic as real or fake. Our models achieve a high F1-score of 98.64%. Our models achieve second place on the leaderboard, tailing the first position with a very narrow margin 0.05% points.

연구 동기 및 목표

• 코로나19 패닉 기간 동안 확산되는 오락성 정보의 증가하는 위협에 대응하기 위해, 특히 소셜 미디어 플랫폼에서 발생하는 오락성 정보를 다루기 위해.
• 영어 소셜 미디어 콘텐츠 내 진실된 건강 뉴스와 가짜 뉴스를 구분할 수 있는 강력한 NLP 모델을 개발하기 위해.
• 기존 기계 학습 기법과 트랜스포머 기반 모델을 포함한 다양한 NLP 기법의 가짜 뉴스 탐지에 대한 효과를 평가하기 위해.
• 코로나19 패닉과 관련된 가짜 뉴스 탐지에 대한 공개 벤치마크 데이터셋에서 높은 성능을 달성하기 위해.
• 자동화된 탐지 기반으로 유해한 오락성 정보의 확산을 줄임으로써 공중보건에 기여하기 위해.

제안 방법

• COVID-19 관련 영어 소셜 미디어 게시물의 대규모 균형 잡힌 데이터셋을 기반으로 RoBERTa-base를 미세조정하였다.
• Hugging Face의 Transformers 라이브러리를 활용하여 BERT, ELECTRA, XLNet를 포함한 여러 사전 훈련된 트랜스포머 모델의 효율적 미세조정을 수행하였다.
• 딥러닝 모델로의 전환 전에 tf-idf 및 Word2Vec 임베딩을 기준선 특성 표현으로 활용하였다.
• 모델이 가짜 뉴스를 나타내는 스타일적 신호(예: 해시태그 또는 멘션 제거 등)를 학습할 수 있도록 명시적 전처리를 회피하였다.
• 모델 훈련을 위해 훈련 및 검증 세트를 통합하였으며, 훈련과 검증에 90:10 비율을 적용하였고, 주 평가 지표로 F1 스코어를 사용하였다.
• 검증 세트 및 공식 테스트 세트에서의 결과를 보고하였으며, SVM, 나이브 베이즈, 앙상블 방법을 포함한 여러 모델 간 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 RoBERTa와 같은 트랜스포머 기반 모델이 코로나19 패닉 관련 가짜 뉴스 탐지에서 기존 기계 학습 모델을 능가할 수 있는가?
• RQ2 사전 훈련된 언어 모델은 소셜 미디어 내 가짜 건강 뉴스와 관련된 미세한 언어적 패턴을 얼마나 효과적으로 식별할 수 있는가?
• RQ3 예를 들어 해시태그 제거와 같은 명시적 전처리를 회피할 경우, 가짜 뉴스 탐지 성능에 어떤 영향을 미치는가?
• RQ4 이 특정 작업에서 BERT, RoBERTa, ELECTRA, XLNet 등의 다양한 아키텍처 간 성능은 어떻게 다를까?
• RQ5 미세조정된 RoBERTa 모델은 코로나19 가짜 뉴스 탐지에 대한 공개 벤치마크에서 SOTA 성능을 달성할 수 있는가?

주요 결과

• RoBERTa-base 모델은 공식 테스트 세트에서 F1 스코어 98.64%를 기록하여, 단지 0.05% 포인트의 격차로 1위 모델에 이어 2위를 기록하였다.
• 검증 세트에서 RoBERTa 모델은 F1 스코어 0.982를 기록하여 강력한 일반화 능력과 견고함을 입증하였다.
• ELECTRA-base 모델은 공식 테스트 세트에서 F1 스코어 0.9827을 기록하여, 선도 모델들과 비교해도 뛰어난 성능을 보였다.
• 기준선 모델 중에서 tf-idf 임베딩을 사용한 SVM는 검증 세트에서 F1 스코어 0.941을 기록하여 나이브 베이즈 및 선형 분류기보다 뛰어난 성능을 보였다.
• RoBERTa 모델은 검증 세트 및 테스트 세트에서 F1 스코어와 정확도 모두에서 BERT와 XLNet을 포함한 모든 기준선 모델을 뛰어넘었다.
• 연구는 명시적 전처리를 생략함으로써 모델이 가짜 뉴스에서 흔한 과도한 해시태그와 멘션과 같은 중요한 특징을 학습하는 데 도움이 되었다는 것을 확인하였다.