[논문 리뷰] ArCOV19-Rumors: Arabic COVID-19 Twitter Dataset for Misinformation Detection

Fatima Haouari, Maram Hasanain외 2명|arXiv (Cornell University)|2020. 10. 17.

Misinformation and Its Impacts인용 수 39

한 줄 요약

저자들은 수동으로 주석된 아랍어 트위터 데이터셋 ArCOV19-Rumors를 도입하여 오정보 탐지를 수행하며, 전파 네트워크를 활용한 주장-수준 및 트윗-수준 검증을 지원하고, SOTA 모델을 사용한 기초 벤치마크를 제공합니다.

ABSTRACT

In this paper we introduce ArCOV19-Rumors, an Arabic COVID-19 Twitter dataset for misinformation detection composed of tweets containing claims from 27th January till the end of April 2020. We collected 138 verified claims, mostly from popular fact-checking websites, and identified 9.4K relevant tweets to those claims. Tweets were manually-annotated by veracity to support research on misinformation detection, which is one of the major problems faced during a pandemic. ArCOV19-Rumors supports two levels of misinformation detection over Twitter: verifying free-text claims (called claim-level verification) and verifying claims expressed in tweets (called tweet-level verification). Our dataset covers, in addition to health, claims related to other topical categories that were influenced by COVID-19, namely, social, politics, sports, entertainment, and religious. Moreover, we present benchmarking results for tweet-level verification on the dataset. We experimented with SOTA models of versatile approaches that either exploit content, user profiles features, temporal features and propagation structure of the conversational threads for tweet verification.

연구 동기 및 목표

• COVID-19 기간 동안 오정보 탐지를 위해 수동으로 주석된 아랍어 트위터 데이터셋(ArCOV19-Rumors)를 만들고자 한다.
• 주장-수준 검증(자유 텍스트 주장)과 트윗-수준 검증(트윗 내 주장 포함)을 모두 가능하게 한다.
• 확산 및 다중 모달 검증 신호를 연구하기 위해 리트윗과 대화 스레드의 전파 네트워크를 제공한다.
• 건강 외의 다양한 주장 주제(사회, 정치, 종교, 엔터테인먼트, 스포츠)를 다룬다.
• 향후 아랍어 허위 정보 탐지 연구를 위한 벤치마크 모델과 벤치마크를 제공한다.

제안 방법

• 아랍어 팩트체크 단체 및 보건 기구에서 확인된 COVID-19 주장 113건(거짓 113건, 진실 49건)을 수집한 후 WHO/UN 출처 및 영어 플랫폼에서 추가 진실 주장으로 균형을 맞춘다(총 162개 주장: 113건 거짓, 49건 진실).
• 각 주장마다 ArCOV-19에서 관련 트윗을 검색하기 위한 불린 쿼리를 구성하고 수동으로 관련성을 필터링하여 관련 트윗 9,414개를 도출한다.
• 각 관련 트윗에 대해 주장에 대한 입장을 표기한다: 동일한 주장 표현, 주장을 부정, 기타.
• 각 관련 트윗에 대해 확산 여부를 파악하기 위해 리트윗 및 대화 스레드의 전파 네트워크를 수집한다.
• 데이터셋이 가능하게 하는 세 가지 작업을 정의한다: 주장-수준 검증, 트윗-수준 검증(이전 관련 트윗을 사용한 조기 검증 포함), 그리고 같은 주장을 표현하는 트윗의 주장 검색.
• 확인된 주장, 주장 관련 트윗(레이블 포함), 전파 네트워크, 주석 지침, 벤치마크 폴드를 포함한 데이터셋 구성요소를 릴리스한다.

실험 결과

연구 질문

• RQ1 아랍어 허위 정보는 텍스트 및 맥락 신호(전파 네트워크 포함)를 사용하여 주장 수준과 트윗 수준에서 얼마나 잘 탐지될 수 있는가?
• RQ2 전파 네트워크, 시간적 특징, 사용자 프로필을 활용하여 트윗-수준 검증이 아랍어의 진실성 판단을 개선할 수 있는가?
• RQ3 주장 및 트윗 전체에서 진실/거짓/기타 라벨의 분포는 어떠하며 전파 구조가 검증에 어떤 도움을 주는가?
• RQ4 타깃 트윗의 전체 전파 없이도 관련 트윗의 조기 검색을 제공하는 것이 조기 검증 성능을 향상시키는가?

주요 결과

• 데이터셋은 건강 및 사회, 정치, 종교, 엔터테인먼트, 스포츠 등의 주제를 포함해 9,414개의 라벨링된 관련 트윗과 함께 138개의 검증된 COVID-19 주장으로 구성된다.
• 주장-수준 검증(관련 모든 트윗을 사용해 주장을 검증)과 트윗-수준 검증(개별 트윗 검증)의 두 가지 검증 수준을 지원한다.
• 사전학습된 아랍어 BERT 모델(MARBERT, AraBERT)이 트윗-수준 검증에서 다른 벤치마크를 능가하며, MARBERT의 매크로-F1은 약 0.74에 이른다.
• 전파 네트워크(Bi-GCN, PPC-RNN+CNN)를 활용한 모델이 콘텐츠 기반 접근법보다 성능이 우수하지만, 진실/거짓 탐지 간 성능은 다르게 나타난다.
• 데이터셋은 답글과 리트윗 등 전파 구조를 포함하고 있어 아랍어 트위터 콘텐츠의 다중모달 및 시간적 분석을 가능하게 한다.