[논문 리뷰] Eating Garlic Prevents COVID-19 Infection: Detecting Misinformation on the Arabic Content of Twitter

Sarah Alqurashi, Btool Hamoui외 3명|arXiv (Cornell University)|2021. 01. 09.

Misinformation and Its Impacts인용 수 24

한 줄 요약

이 연구는 인간이 분류한 트윗(n=8,786)을 사용하여 코로나19에 관한 아랍어 가짜정보를 트위터에서 탐지하기 위한 기계학습 프레임워크를 제안한다. FastText와 word2vec 단어 임베딩을 훈련시켰으며, XGBoost 분류기가 모든 다른 분류기들보다 뛰어난 성능을 보였고, AUC, 정밀도, 재현도, F1 점수 모두 최고를 기록했다. 특히 FastText 기반 특징은 문맥적으로 복잡하고 비공식적인 아랍어 텍스트에서 전통적 및 딥러닝 모델의 성능을 크게 향상시켰다.

ABSTRACT

The rapid growth of social media content during the current pandemic provides useful tools for disseminating information which has also become a root for misinformation. Therefore, there is an urgent need for fact-checking and effective techniques for detecting misinformation in social media. In this work, we study the misinformation in the Arabic content of Twitter. We construct a large Arabic dataset related to COVID-19 misinformation and gold-annotate the tweets into two categories: misinformation or not. Then, we apply eight different traditional and deep machine learning models, with different features including word embeddings and word frequency. The word embedding models (\ extsc{FastText} and word2vec) exploit more than two million Arabic tweets related to COVID-19. Experiments show that optimizing the area under the curve (AUC) improves the models' performance and the Extreme Gradient Boosting (XGBoost) presents the highest accuracy in detecting COVID-19 misinformation online.

연구 동기 및 목표

• 코로나19 패닉 초기 단계 동안 아랍어 가짜정보 자동 탐지의 긴급한 필요성을 해결하기 위해.
• 훈련 및 평가를 위해 사용할 수 있는 고품질의 인간 분류가 내장된 총 8,786건의 아랍어 트윗으로 구성된 코로나19 가짜정보 관련 데이터셋을 구축하기 위해.
• 비공식적이고 문법적으로 복잡한 아랍어 소셜미디어 텍스트에서 가짜정보 탐지 성능 향상에 기여할 수 있는 사전 훈련된 단어 임베딩(FastText 및 word2vec)의 효과를 평가하기 위해.
• 기존 기계학습 분류기(XGBoost, SVM, 랜덤 포레스트 등)와 딥러닝 모델(CNN, RNN, CRNN 등)을 비교하여 아랍어 가짜정보 탐지에 대한 성능을 평가하기 위해.
• 불균형 데이터셋에서의 탐지 성능 향상을 위해 AUC 기반 하이퍼파rameter 튜닝을 통해 모델 성능을 최적화하기 위해.

제안 방법

• 코로나19 관련 대규모 아랍어 트위터 데이터셋을 확보하였으며, 주로 패닉 초기 단계인 2020년 3월~4월에 집중했다.
• 인간 평가자들을 활용해 트윗을 가짜정보 또는 아님으로 분류하여, 균형 잡히고 고품질의 8,786건의 트윗 데이터셋을 확보했다.
• 200만 건이 넘는 아랍어 코로나19 트윗을 기반으로 FastText와 word2vec 두 가지 사전 훈련된 단어 임베딩 모델을 훈련시켜 의미적 및 형태학적 특징을 포착했다.
• 원본 특징과 임베딩 특징을 모두 사용하여 다섯 가지 기존 분류기(XGBoost, 랜덤 포레스트, SVM, SGD, 나이브 베이즈)와 세 가지 딥러닝 모델(CNN, RNN, CRNN)을 평가했다.
• 기존 분류기의 경우 그리드 서치를, 딥러닝 모델의 경우 AUC 손실 함수를 사용하여 하이퍼파rameter 튜닝을 수행하여 불균형 데이터에서의 성능 향상을 도모했다.
• 모델 성능을 평가하기 위해 표준 지표인 AUC, 정밀도, 재현도, F1 점수를 사용하여 가장 강력한 분류기를 식별했다.

실험 결과

연구 질문

• RQ1 사전 훈련된 단어 임베딩가 기계학습 모델의 아랍어 가짜정보 탐지 성능을 향상시킬 수 있는가?
• RQ2 불균형 데이터셋에서 아랍어 코로나19 가짜정보 탐지에 가장 잘 작동하는 기계학습 분류기는 무엇인가?
• RQ3 FastText와 word2vec 임베딩는 비공식적인 아랍어 소셜미디어 텍스트에서 흔히 발생하는 형태학적 및 철자 오류 변형을 얼마나 잘 포착하는가?
• RQ4 AUC 기반 하이퍼파rameter 최적화는 아랍어 트위터 콘텐츠에서 소수의 가짜정보 탐지에 얼마나 기여하는가?
• RQ5 예를 들어 건강 조언과 음모 이론 등 다양한 유형의 가짜정보에 대해 모델 성능이 유의미하게 다를까?

주요 결과

• XGBoost 분류기가 AUC 점수 0.92를 기록하며 정밀도, 재현도, F1 점수 모두 다른 모든 분류기들보다 뛰어난 성능을 보였다.
• FastText 임베딩는 특히 아랍어의 형태학적 변형과 철자 오류를 잘 처리할 수 있어 기존 분류기와 CNN의 성능을 크게 향상시켰다.
• word2vec 임베딩는 CRNN과 같은 딥러닝 모델에서 더 좋은 성능을 보였으며, 모델 아키텍처에 따라 임베딩의 강점이 다름을 시사한다.
• AUC 기반 하이퍼파rameter 최적화는 소수의 가짜정보 탐지 성능을 향상시켜 희귀하지만 해로운 잘못된 주장의 식별 능력을 높였다.
• 사전 훈련된 단어 임베딩를 사용한 모든 분류기의 성능이 임베딩 없이 사용한 모델보다 뚜렷이 향상되었으며, 이는 자원이 적고 비공식적인 아랍어 NLP 과제에서 임베딩의 가치를 확인한다.
• 8,786건의 인간 분류가 내장된 아랍어 트윗 데이터셋은 향후 아랍어 가짜정보 탐지 연구를 위한 유의미한 기준점이 된다.