[논문 리뷰] ArCorona: Analyzing Arabic Tweets in the Early Days of Coronavirus (COVID-19) Pandemic

Hamdy Mubarak, Sabit Hassan|arXiv (Cornell University)|2020. 12. 02.

Misinformation and Its Impacts참고 문헌 23인용 수 7

한 줄 요약

이 논문은 초기 코로나19 팬데믹 기간 동안 8,000개의 아랍어 트윗으로 구성된 가장 큰 공개된 수작업 주석 데이터셋인 ArCorona를 소개한다. 이 데이터셋은 루머, 정부 조치, 개인적 이야기 등 13개의 클래스로 주석이 달려 있다. 이 데이터셋을 바탕으로 저자들은 머신러닝 및 트랜스포머 모델—특히 AraBERT—을 평가하여 세분화된 분류에서 60.5%의 F1 스코어를 기록했으며, 아랍어 소셜 미디어에서 중요한 공적 논의를 식별하는 데 뛰어난 성능을 보였다.

ABSTRACT

Over the past few months, there were huge numbers of circulating tweets and discussions about Coronavirus (COVID-19) in the Arab region. It is important for policy makers and many people to identify types of shared tweets to better understand public behavior, topics of interest, requests from governments, sources of tweets, etc. It is also crucial to prevent spreading of rumors and misinformation about the virus or bad cures. To this end, we present the largest manually annotated dataset of Arabic tweets related to COVID-19. We describe annotation guidelines, analyze our dataset and build effective machine learning and transformer based models for classification.

연구 동기 및 목표

• 아랍권에서 코로나19 논의 분석을 위한 대규모 수작업 주석 처리된 아랍어 트윗 데이터셋이 부족한 문제를 해결하기 위해.
• 팬데믹 초기 단계 동안 아랍어 트윗에서 표현된 공적 정서, 오락성 정보, 정부 조치, 사회적 영향을 식별하고 분류하기 위해.
• 공중보건 및 정책 결정을 위한 목적으로 아랍어 트윗의 세분화된 분류에 대해 머신러닝 및 트랜스포머 모델을 평가하기 위해.
• 향후 아랍어 NLP 및 팬데믹 관련 소셜 미디어 분석 연구를 지원하기 위해 공개 가능한 기준 데이터셋을 제공하기 위해.

제안 방법

• 2020년 2월 21일부터 3월 31일까지 'كورونا' 키워드를 사용해 twarc API를 통해 3,000만 개의 아랍어 트윗을 수집하였다.
• 매일 상위 200개의 재트윗 트윗(총 8,000개)을 선별하여 주석 처리에 적합한 고영향도 콘텐츠를 확보하였다.
• 보고서(REP), 조치(ACT), 루머(RUMOR), 조언(ADVICE), 지지(SUPPORT) 등을 포함한 13개 클래스로 구성된 분류 체계를 수작업 주석에 맞게 설계하였다.
• 품질 관리를 위해 두 명의 모국어 아랍어 사용자를 활용해 높은 상호 주석자 일치도(kappa = 0.85)를 달성하였다.
• 다양한 모델을 평가: n-gram 특징(단어 [1-2], 문자 [2-5])과 Mazajak 단어 임베딩을 사용한 SVM, 및 시퀀스 분류를 위해 미세조정한 AraBERT.
• 학습/검증/테스트 세트를 6,000/1,000/1,000으로 분할하고 평가를 위해 매크로 F1, 정밀도, 재현율, 정확도를 보고하였다.

실험 결과

연구 질문

• RQ1 코로나19 초기 단계에서 아랍권 각국에서 주로 나타나는 아랍어 트윗 유형은 무엇이며, 국가 간에 어떻게 다를까?
• RQ2 전통적인 머신러닝 모델과 트랜스포머 기반 모델은 아랍어 트윗을 13개 주제 카테고리로 분류하는 데 얼마나 효과적인가?
• RQ3 루머, 치료법, 정부 조치 요청 등의 트윗 유형 중 어느 것이 초기 아랍어 소셜 미디어 논의에서 가장 흔한가?
• RQ4 다양한 특징 유형을 사용한 SVM 기반 모델과 비교해 AraBERT의 세분화된 아랍어 트윗 분류 성능은 어떠한가?

주요 결과

• 가장 흔한 트윗 유형은 보고서(1,664건), 정부 조치(1,383건), 조언(1,047건)이었으며, 이는 공적 업데이트와 건강 지침에 대한 높은 관심을 보여주었다.
• 루머(421건)와 치료법(116건)은 상대적으로 드물었으며, 각각 약 5%와 2%에 불과해 초기에 오락성 정보가 널리 퍼지지는 않았음을 시사했다.
• AraBERT는 세분화된 분류에서 가장 높은 F1 스코어인 60.5%를 기록했으며, n-gram과 단어 임베딩을 사용한 SVM보다 뛰어난 성능을 보였다.
• 혼동 행렬 분석 결과, 정보(INFO), 루머(RUMOR), 개인적 이야기(PRSNL) 클래스가 가장 잘못 분류되었으며, 특히 INFO가 자주 ADVICE와 혼동되었다.
• 7%의 트윗이 혐오 발언을 포함하고 있었으며, 이는 중국 및 이ран에 대한 낙인화를 포함하고 있어 소셜 미디어가 이질감을 확산시키는 역할을 했음을 시사한다.
• Saudia Arabia는 데이터셋의 59%를 차지했으며, 그 외 GCC 국가들과 국제 계정이 이어졌고, 검증된 정부 및 미디어 계정이 재트윗의 주요 원천이었다.