[논문 리뷰] Characterizing COVID-19 Misinformation Communities Using a Novel Twitter Dataset

Shahan Ali Memon, Kathleen M. Carley|arXiv (Cornell University)|2020. 08. 03.

Misinformation and Its Impacts참고 문헌 33인용 수 33

한 줄 요약

논문은 CMU-MisCOV19라는 대규모 주석 트위터 데이터셋을 제시하고, 두 경쟁하는 COVID-19 오정보 커뮤니티(정보를 가진 커뮤니티와 오정보 커뮤니티)를 네트워크 구조, 사회언어학, 및 허위정보 참여를 통해 분석한다.

ABSTRACT

From conspiracy theories to fake cures and fake treatments, COVID-19 has become a hot-bed for the spread of misinformation online. It is more important than ever to identify methods to debunk and correct false information online. In this paper, we present a methodology and analyses to characterize the two competing COVID-19 misinformation communities online: (i) misinformed users or users who are actively posting misinformation, and (ii) informed users or users who are actively spreading true information, or calling out misinformation. The goals of this study are two-fold: (i) collecting a diverse set of annotated COVID-19 Twitter dataset that can be used by the research community to conduct meaningful analysis; and (ii) characterizing the two target communities in terms of their network structure, linguistic patterns, and their membership in other communities. Our analyses show that COVID-19 misinformed communities are denser, and more organized than informed communities, with a possibility of a high volume of the misinformation being part of disinformation campaigns. Our analyses also suggest that a large majority of misinformed users may be anti-vaxxers. Finally, our sociolinguistic analyses suggest that COVID-19 informed users tend to use more narratives than misinformed users.

연구 동기 및 목표

• 다양한 주석이 부착된 COVID-19 트위터 데이터셋과 오정보 분석을 위한 포괄적 코드북을 마련한다.
• 정보를 가진 커뮤니티와 오정보 커뮤니티를 네트워크 구조, 언어 패턴, 허위정보 연계성으로 특징짓는다.
• 오정보 그룹 내 봇 참여와 백신 입장을 평가한다.
• 재현 가능한 오정보 탐지 연구를 촉진하기 위해 데이터와 방법을 제공한다.

제안 방법

• 세 가지 수집 날짜에 걸쳐 다양한 COVID-19 키워드와 해시태그를 사용해 트위터 데이터를 수집한다.
• 트윗을 17개 범주로 주석화하여 오정보 및 진정보 범주를 설명한다.
• 트윗 주석에서 사용자 가치를 계산해 사용자를 정보 보유(informed) 또는 오정보(misinformed) 그룹에 할당한다.
• COVID-19 관련 트윗으로 필터링된 사용자 타임라인으로 데이터를 보강해 네트워크, 봇, 사회언어학 분석을 수행한다.
• 리트윗, 멘션, 응답 네트워크를 구성하고 각 그룹의 네트워크 밀도를 계산한다.
• Bot-Hunter로 봇을 식별하고 두 그룹 간 비율 차이를 두 표본 z-검정으로 비교한다.
• 비봇 타임라인에 대해 LIWC 기반 사회언어학 분석을 수행해 그룹 간 어휘 범주를 비교한다.
• 해시태그 가치전파를 통해 오정보 사용자 내 백신 입장을 평가한다.

실험 결과

연구 질문

• RQ1 COVID-19 오정보 분석을 위한 diverse 주석 트위터 데이터셋을 만들 수 있는가?
• RQ2 정보 보유 및 오정보 커뮤니티 간의 네트워크 구조 차이는 무엇인가?
• RQ3 오정보 커뮤니티가 정보 보유 커뮤니티보다 봇 참여가 더 높은가?
• RQ4 두 그룹 간에 서술 사용이나 형식성 등 뚜렷한 사회언어학적 패턴이 있는가?
• RQ5 오정보 그룹 내 백신 입장 분포는 어떠하며 봇은 어떤 역할을 하는가?

주요 결과

• 오정보 커뮤니티는 정보 보유 커뮤니티보다 더 밀집되어 있어 강한 에코 체임버를 시사한다.
• 전체 사용자 중 약 47%는 정보 보유, 29%는 오정보, 24%는 모호하거나 관련 없는 것으로 나타난다.
• 봇은 오정보 사용자 중 19%를 차지하고 정보 보유 사용자는 11%, 차이가 통계적으로 유의하다.
• 정보 보유 사용자는 더 많은 서술적 언어, 대명사 및 기능어 사용이 높고 더 큰 진정성을 보인다.
• 두 그룹 모두 전반적 어조는 부정적이며, 오정보 사용자는 비공식 언어를 더 많이 사용하는 경향이 있지만 결정적이지 않다.
• 백신 관련 콘텐츠를 게시하는 오정보 사용자 중 41%는 반백신자이고 22%는 찬백신자(37%은 모호).
• 오정보 커뮤니티에서 봇 존재가 더 높아 허위 정보 캠페인이 시사된다.