[논문 리뷰] Automatically applying a credibility appraisal tool to track vaccination-related communications shared on social media

Zubair Shah, Didi Surian외 4명|arXiv (Cornell University)|2019. 03. 18.

Misinformation and Its Impacts참고 문헌 46인용 수 14

한 줄 요약

이 연구는 트위터에서 공유된 백신 관련 웹페이지의 신뢰성을 자동으로 평가하기 위해 기계학습 모델을 개발하고 평가하였으며, 7점 체크리스트를 사용하였다. 최고의 모델은 신뢰성 분류에서 78%의 정확도를 달성하였고, 연결된 웹페이지 중 14.4%가 낮은 신뢰성을 지닌 것으로 밝혀졌으며, 가장 공유된 링크들을 통해 전 세계적으로 최대 8000만 명의 사용자에게 도달하였다.

ABSTRACT

Background: Tools used to appraise the credibility of health information are time-consuming to apply and require context-specific expertise, limiting their use for quickly identifying and mitigating the spread of misinformation as it emerges. Our aim was to estimate the proportion of vaccination-related posts on Twitter are likely to be misinformation, and how unevenly exposure to misinformation was distributed among Twitter users. Methods: Sampling from 144,878 vaccination-related web pages shared on Twitter between January 2017 and March 2018, we used a seven-point checklist adapted from two validated tools to appraise the credibility of a small subset of 474. These were used to train several classifiers (random forest, support vector machines, and a recurrent neural network with transfer learning), using the text from a web page to predict whether the information satisfies each of the seven criteria. Results: Applying the best performing classifier to the 144,878 web pages, we found that 14.4% of relevant posts to text-based communications were linked to webpages of low credibility and made up 9.2% of all potential vaccination-related exposures. However, the 100 most popular links to misinformation were potentially seen by between 2 million and 80 million Twitter users, and for a substantial sub-population of Twitter users engaging with vaccination-related information, links to misinformation appear to dominate the vaccination-related information to which they were exposed. Conclusions: We proposed a new method for automatically appraising the credibility of webpages based on a combination of validated checklist tools. The results suggest that an automatic credibility appraisal tool can be used to find populations at higher risk of exposure to misinformation or applied proactively to add friction to the sharing of low credibility vaccination information.

연구 동기 및 목표

• 실시간 건강 위기 정보 감시에서 대규모 실시간으로 신뢰성을 수동으로 평가하는 데 도전 과제를 해결하기 위해.
• 텍스트 콘텐츠를 기반으로 백신 관련 웹페이지의 신뢰성을 예측할 수 있는 자동화된 기계학습 분류기 개발을 위해.
• 트위터에서 공유된 낮은 신뢰성의 백신 정보의 잠재적 노출 범위를 팔로워 네트워크 데이터를 활용해 추정하기 위해.
• 낮은 신뢰성의 백신 콘텐츠가 비례적으로 더 많이 공유되는 하위 집단을 특정하여 표적 공중보건 개입을 위한 목적을 위해.

제안 방법

• 검증된 도구인 DISCERN 및 QIMR를 기반으로 수정한 7점 체크리스트를 사용하여 474개의 백신 관련 웹페이지를 수동으로 레이블링하였다.
• 레이블링된 웹페이지의 텍스트를 활용해 세 가지 기계학습 모델을 훈련시켰다: 랜덤 포레스트, 서포트 벡터 머신, 그리고 전이 학습을 적용한 딥 러닝 순환 신경망.
• 모델들은 각 웹페이지가 7개의 신뢰성 기준 중 각각을 충족하는지 독립적으로 예측하도록 훈련되었다.
• 가장 성능이 뛰어난 모델을 활용해 2017년 1월부터 2018년 3월까지 트위터에서 공유된 총 144,878개의 백신 관련 웹페이지를 분류하였다.
• 각 웹페이지를 공유한 사용자의 총 팔로워 수를 합산하여 잠재 노출을 추정하였으며, 이는 청중 도달 범위의 상한선으로 기능하였다.
• 낮은 신뢰성 콘텐츠를 더 많이 공유하는 하위 집단을 특정하기 위해 하위 집단 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 트위터에서 공유된 백신 관련 웹페이지 중 검증된 신뢰성 체크리스트를 사용해 낮은 신뢰성으로 분류된 비율은 얼마인가?
• RQ2 기계학습 모델은 텍스트 콘텐츠만으로 백신 관련 웹페이지의 신뢰성을 정확하게 예측할 수 있는가?
• RQ3 낮은 신뢰성의 백신 웹페이지는 트위터에서 어떤 잠재적 노출 범위를 가지며, 높은 신뢰성 콘텐츠와 비교해 어떤가?
• RQ4 낮은 신뢰성 백신 정보를 가장 많이 공유하는 사용자 집단는 어디이며, 이들은 더 고립되어 있는가 아니면 더 연결되어 있는가?

주요 결과

• 가장 성능이 뛰어난 분류기는 낮음, 중간, 높음 신뢰성 웹페이지를 구분하는 데 78%의 정확도를 달성하였다.
• 모델은 낮은 신뢰성 웹페이지를 96% 이상의 정밀도로 레이블링하여 낮은 신뢰성 콘텐츠를 식별하는 데 높은 신뢰성을 보였다.
• 트위터에서 공유된 총 144,878개의 백신 관련 웹페이지 중 14.4%가 낮은 신뢰성으로 분류되었지만, 총 잠재 노출의 9.2%에만 해당하였다.
• 가장 인기 있는 100개의 낮은 신뢰성 링크는 각각 전 세계적으로 200만 명에서 8000만 명의 트위터 사용자에게 잠재적으로 노출되었다.
• 전반적으로 낮은 신뢰성 웹페이지의 공유 빈도는 낮았지만 특정 하위 집단 내에서는 비례적으로 더 많이 공유되었다.
• 이 연구는 자동화된 신뢰성 평가 도구가 실시간 감시 및 오락성 정보 노출 감소를 위한 표적 개입을 지원할 수 있을 것이라 제안한다.