[논문 리뷰] Characterizing and Predicting Social Correction on Twitter

Yingchen Ma, Bing He외 2명|arXiv (Cornell University)|2023. 03. 15.

Misinformation and Its Impacts인용 수 16

한 줄 요약

이 연구는 Twitter에서 COVID-19 백신 오정보 및 반오정보 반응의 대규모 데이터 세트를 구축하고, 사회적 교정과 관련된 언어적/참여/게시자 요인을 분석하며, 반박이 발생하는지와 그 정도를 예측하는 모델을 개발한다.

ABSTRACT

Online misinformation has been a serious threat to public health and society. Social media users are known to reply to misinformation posts with counter-misinformation messages, which have been shown to be effective in curbing the spread of misinformation. This is called social correction. However, the characteristics of tweets that attract social correction versus those that do not remain unknown. To close the gap, we focus on answering the following two research questions: (1) ``Given a tweet, will it be countered by other users?'', and (2) ``If yes, what will be the magnitude of countering it?''. This exploration will help develop mechanisms to guide users' misinformation correction efforts and to measure disparity across users who get corrected. In this work, we first create a novel dataset with 690,047 pairs of misinformation tweets and counter-misinformation replies. Then, stratified analysis of tweet linguistic and engagement features as well as tweet posters' user attributes are conducted to illustrate the factors that are significant in determining whether a tweet will get countered. Finally, predictive classifiers are created to predict the likelihood of a misinformation tweet to get countered and the degree to which that tweet will be countered. The code and data is accessible on https://github.com/claws-lab/social-correction-twitter.

연구 동기 및 목표

• 오해를 불러일으키는 트윗이 사회적 교정을 받는 이유를 이해하도록 동기를 부여한다.
• COVID-19 백신에 대한 오정보 트윗과 반오정보 반응의 대규모 페어 데이터 세트를 만든다.
• 언어적 특성, 참여도, 게시자 속성에 대한 계층적 분석을 수행하여 반박과 관련된 요인을 식별한다.
• 트윗이 반박될지와 반박의 정도(저강도/고강도)를 예측하는 예측 분류기를 개발한다.
• 사용자 속성 간의 사회적 교정의 잠재적 불평등에 대한 통찰을 제공한다.

제안 방법

• 오정보 트윗과 반오정보 반응의 대규모 데이터 세트를 큐레이션한다(오정보: 1,523,849 tweets; 반응-반응: 690,047).
• Roberta-base(소문자화) 를 사용하여 반오정보 반응의 서브셋에 주석을 달아 반응 분류기를 학습한다.
• 대규모 COVID-19 백신 트윗 말뭉치에서 오정보를 식별하기 위한 오정보 트윗 분류기를 학습한다(BERT).
• 각 트윗의 반응 수를 기반으로 층을 형성한 계층 분석을 구성하여 각 층에서 높게 반박된 트윗과 낮게 반박된 트윗을 비교한다.
• 언어적, 참여도, 게시자 속성에 대한 통계적 및 특성 분석을 수행한다(LIWC, VADER, 예의/무례, 참여 비율, 팔로워/검증 지표, 사전 오정보 활동).
• 두 개의 예측 모델을 구축하여(RQ1) 오정보 트윗이 반박될지 예측하고(RQ2) 반박의 정도(낮음/높음)를 선택된 특성을 사용해 예측한다.

실험 결과

연구 질문

• RQ1 RQ1: 오정보 트윗이 있을 때, 다른 사용자가 반박할 것인가?
• RQ2 RQ2: 반박이 있다면 그 정도는 무엇인가(낮음/높음)?

주요 결과

• 1,523,849개의 오정보 트윗과 690,047개의 반오정보 반응으로 구성된 새로운 데이터 세트를 생성했으며, 수작업으로 주석된 반응 서브셋이 포함된다.
• 댓글 수에 따른 층 내에서, 반박이 강하게 이뤄진 트윗은 낮은 반박 트윗에 비해 감정적 내용이 더 강하며, 더 높은 정서성, 부정적 감정 및 분노를 포함하는 경향이 있다.
• 고도로 반박된 트윗은 무례함이 더 많고 건강 관련 용어가 덜 사용되는 경향이 있어 주제와 수사학적 요인이 교정에 영향을 미친다는 것을 시사한다.
• 참여 분석에 따르면 고도로 반박된 트윗은 한 답글당 인용, 재트윗, 좋아요 수가 더 적게 나타나 반박이 더 넓은 확산을 저해할 수 있음을 시사한다.
• 게시자 속성은 검증된 게시자가 고도로 반박된 게시물의 가능성을 더 높이는 경향이 있지만, 대부분의 속성은 비검증 사용자 간에 유의하게 다르지 않다.
• 오정보 이전 게시물에서 추정된 ARI를 통해 추정된 사용자의 학력 수준은 반박 가능성과 음의 상관을 보이며, 낮은 학력 계정이 더 자주 반박된다.