[논문 리뷰] ArCovidVac: Analyzing Arabic Tweets About COVID-19 Vaccination

Hamdy Mubarak, Sabit Hassan외 2명|arXiv (Cornell University)|2022. 01. 17.

Misinformation and Its Impacts인용 수 9

한 줄 요약

이 논문은 코로나19 백신에 관한 다수의 수준의 주석(정보성, 트윗 콘텐츠 유형(10개 클래스), 태도(찬성, 중립, 반대))을 포함한 첫 번째 대규모 수작업 주석 처리된 아랍어 트윗 데이터셋인 ArCovidVac을 소개한다. 이는 정보성 분류, 세분화된 콘텐츠 유형 분류, 태도 탐지 세 가지 과제에서 트랜스포머 모델(예: QARiB)을 벤치마킹하여 최신 기술 수준의 성능을 달성하였으며, 특히 태도 탐지에서 F1 스코어 63.1%를 기록하여 아랍권에서의 공중보건 모니터링과 오락성 정보 억제에 있어 데이터셋의 가치를 입증한다.

ABSTRACT

The emergence of the COVID-19 pandemic and the first global infodemic have changed our lives in many different ways. We relied on social media to get the latest information about the COVID-19 pandemic and at the same time to disseminate information. The content in social media consisted not only health related advises, plans, and informative news from policy makers, but also contains conspiracies and rumors. It became important to identify such information as soon as they are posted to make actionable decisions (e.g., debunking rumors, or taking certain measures for traveling). To address this challenge, we develop and publicly release the first largest manually annotated Arabic tweet dataset, ArCovidVac, for the COVID-19 vaccination campaign, covering many countries in the Arab region. The dataset is enriched with different layers of annotation, including, (i) Informativeness (more vs. less importance of the tweets); (ii) fine-grained tweet content types (e.g., advice, rumors, restriction, authenticate news/information); and (iii) stance towards vaccination (pro-vaccination, neutral, anti-vaccination). Further, we performed in-depth analysis of the data, exploring the popularity of different vaccines, trending hashtags, topics and presence of offensiveness in the tweets. We studied the data for individual types of tweets and temporal changes in stance towards vaccine. We benchmarked the ArCovidVac dataset using transformer architectures for informativeness, content types, and stance detection.

연구 동기 및 목표

• 공중보건 의사결정을 위한 코로나19 백신에 관한 대규모 수작업 주석 처리된 아랍어 소셜미디어 데이터의 부족을 해결하기 위해.
• 팬데믹 기간 동안 아랍어 소셜미디어에서 오락성 정보, 공중 여론, 정보 유형을 정확하게 탐지할 수 있도록 하기 위해.
• 정책 입안자와 보건 기관이 아랍권에서의 백신 관련 오해와 우려를 이해하고 대응할 수 있도록 지원하기 위해.
• 저자원, 저자원 아랍어 NLP에서의 문맥 탐지, 콘텐츠 분류, 정보성 평가 등의 NLP 과제를 위한 기준 데이터셋을 제공하기 위해.

제안 방법

• 코로나19 백신 관련 타겟팅 쿼리를 사용하여 아랍권에서 10,000개의 아랍어 트윗을 추려낸 데이터셋을 구축하였다.
• 다층 수작업 주석을 실시: (i) 트윗의 정보성, (ii) 10개 클래스의 세분화된 콘텐츠 유형(예: 조언, 소문, 계획), (iii) 백신에 대한 태도(찬성, 중립, 반대).
• 세 가지 분류 과제(정보성, 콘텐츠 유형 분류, 태도 탐지)에 대해 트랜스포머 기반 모델(예: QARiB, BERT)을 미세조정하여 적용하였다.
• 공중 태도 추세의 시계열 분석을 수행하여 유명 인사들이 백신을 접종한 이후의 변화를 규명하였다.
• 잘못 분류된 예시에 대한 오류 분석을 수행하여 맥락 모호성, 비꼬임, 주석 일관성 문제 등을 규명하였다.
• 연구의 재현 가능성을 높이고 향후 연구를 지원하기 위해 데이터셋, 주석 가이드라인, 코드를 공개하였다.

실험 결과

연구 질문

• RQ1 아랍 국가들 전반에서 아랍어 소셜미디어에서 코로나19 백신에 대한 주로 어떤 콘텐츠 유형과 태도가 지배적일까?
• RQ2 특히 유명 인사들이 백신을 접종한 이후로 공중 태도는 어떻게 변화해 왔는가?
• RQ3 트랜스포머 기반 모델은 저자원 아랍어 텍스트에서 정보성 트윗, 콘텐츠 유형, 태도를 얼마나 효과적으로 분류할 수 있는가?
• RQ4 태도 탐지 및 콘텐츠 분류에서 주요 오류 원인은 무엇이며, 이는 비꼬임이나 다중 레이블 콘텐츠와 같은 언어적 뉘앙스와 어떻게 관련이 있는가?
• RQ5 백신 캠페인 기간 동안 아랍권 각국에서 해시태그, 소문, 오락성 정보 패tern은 어떻게 다를까?

주요 결과

• ArCovidVac 데이터셋은 세 단계 주석(정보성, 콘텐츠 유형, 태도)을 포함한 첫 번째 대규모 수작업 주석 처리된 아랍어 코로나19 백신 데이터셋으로, 연구 목적을 위해 공개되었다.
• 트랜스포머 모델, 특히 미세조정된 QARiB는 모든 과제에서 기존의 SVM보다 뛰어난 성능을 보였으며, 태도 탐지에서 F1 스코어 63.1%를 기록하여 모델의 일반화 능력이 뛰어나다는 것을 시사한다.
• 클래스 불균형과 언어적 모호성으로 인해 태도 탐지가 여전히 도전 과제이며, 중립 및 반백신 트윗이 자주 찬성 태도로 잘못 분류되는 경향이 있다.
• 가장 흔한 콘텐츠 유형은 '조언', '정보', '소문'이었으며, '안전한 백신', '백신 접근성'이 주로 사용된 해시태그로 공중의 우려를 반영하고 있었다.
• 유명 인사(예: 국왕)들이 백신을 접종한 후 공중 태도에서 찬성 여론이 명백하게 증가함을 확인하여 롤 모델의 영향력이 있음을 시사한다.
• 오류 분석 결과, 분류 오류의 10%가 다중 레이블 트윗에서 기인했으며, 맥락, 비꼬임, 멀티미디어 요소가 정확한 해석에 핵심적인 역할을 한다.