[논문 리뷰] Algorithmic Detection and Analysis of Vaccine-Denialist Sentiment Clusters in Social Networks

Bjarke Mønsted, Sune Lehmann|arXiv (Cornell University)|2019. 05. 30.

Vaccine Coverage and Hesitancy참고 문헌 18인용 수 10

한 줄 요약

이 논문은 양방향 GRU와 가중치 주의 메커니즘을 조합한 하이브리드 신경망 모델을 사용하여 트위터에서 반백신 및 백신 찬성 여론 집단을 탐지하고 분석하는 딥러닝 접근법을 제시한다. 이 모델은 이진 감성 분류에서 90.4%의 정확도와 삼중 분류에서 0.762의 F1 스코어를 달성한다. 연구 결과, 반백신 사용자는 주로 유튜브와 상업적 건강 사이트 링크를 공유하는 반면, 백신 찬성 사용자는 뉴스 및 과학 매체를 선호하며, 이들의 논의 네트워크는 강한 동질적 혼합 성향을 보이며(r = 0.813) 특징된다.

ABSTRACT

Vaccination rates are decreasing in many areas of the world, and outbreaks of preventable diseases tend to follow in areas with particular low rates. Much research has been devoted to improving our understanding of the motivations behind vaccination decisions and the effects of various types of information offered to skeptics, no large-scale study of the structure of online vaccination discourse have been conducted. Here, we offer an approach to quantitatively study the vaccine discourse in an online system, exemplified by Twitter. We use train a deep neural network to predict tweet vaccine sentiments, surpassing state-of-the-art performance, attaining two-class accuracy of $90.4\%$, and a three-class F1 of $0.762$. We identify profiles which consistently produce strongly anti- and pro-vaccine content. We find that strongly anti-vaccine profiles primarily post links to Youtube, and commercial sites that make money on selling alternative health products, representing a conflict of interest. We also visualize the network of repeated mutual interactions of actors in the vaccine discourse and find that it is highly stratified, with an assortativity coefficient of $r = .813$.

연구 동기 및 목표

• 소셜 미디어, 특히 트위터에서의 백신 관련 논의의 구조적 및 행동적 역학을 이해하기 위해.
• 대규모로 반백신 또는 백신 찬성 감성을 지속적으로 표현하는 프로파일을 식별하고 특성화하기 위해.
• 반백신 및 백신 찬성 사용자가 공유하는 외부 링크의 유형을 분석하여 잠재적 이해관계 충돌을 밝혀내기 위해.
• 백신 논의에 관여하는 주체 간 상호작용 네트워크의 구조를 분석하고 그 분류 수준을 평가하기 위해.
• 소셜 미디어 텍스트에서의 백신 감성 분류를 위한 고정확도 NLP 모델을 개발하고 검증하기 위해.

제안 방법

• 이중 방향 GRU와 가중치 주의 레이어를 조합한 하이브리드 아키텍처를 가진 딥 뉴럴 네트워크를 훈련하여 감성 분류 성능을 향상시키기 위해 fasttext를 미세조정에 활용하였다.
• 초기 사전 훈련된 레이어를 고정한 후 체인-해동 미세조정 전략을 적용하여 모델 성능을 향상시켰다.
• 이진 분류(반백신 대비 아님) 및 삼중 분류(반백신, 중립, 백신 찬성) 작업 모두에서 성능을 평가하기 위해 분류 기반 10겹 교차검증을 적용하였다.
• 백신, 자폐증, 건강, 음악과 관련된 27개의 특정 해시태그를 포함한 트윗을 추출하고 처리하여 의미 모호성 해소 및 데이터 균형을 향상시켰다.
• 분류기의 예측 신뢰도를 기반으로, 50% 이상의 트윗에서 50% 이상의 확신을 보인 프로파일을 반백신 또는 백신 찬성 프로파일로 식별하였다.
• 외부 링크를 기본 도메인 주소로 정규화하고 뉴스, 과학, 상업, 음모론 사이트 등 도메인 유형으로 분류하여 콘텐츠 편향을 분석하였다.

실험 결과

연구 질문

• RQ1 최근의 최고 수준 기법들과 비교해 볼 때, 딥러닝 모델이 소셜 미디어 텍스트에서의 백신 감성 분류 성능은 어떠한가?
• RQ2 반백신 및 백신 찬성 사용자가 가장 자주 링크하는 웹사이트 유형과 콘텐츠는 무엇이며, 이러한 패턴은 그들의 동기나 이해관계 충돌을 어떻게 시사하는가?
• RQ3 반백신 및 백신 찬성 프로파일의 활동 수준과 게시 빈도는 어떻게 비교되며, 이들은 힘의 법칙 분포를 따르는가?
• RQ4 백신 논의 주체 간의 상호작용 네트워크의 구조적 조직은 어떠한가, 그리고 그 혼합 성향은 얼마나 강한가?
• RQ5 특히 음모어구, 락 밴드 이름 또는 은유어를 포함한 모호한 경우에서, 분류기의 예측 결과는 감성에 대한 정성적 이해와 얼마나 일치하는가?

주요 결과

• 제안된 딥 뉴럴 네트워크는 이진 감성 분류에서 90.4%의 정확도와 삼중 분류에서 0.762의 F1 스코어를 기록하여 이전의 최고 수준 모델들을 능가했다.
• 반백신 프로파일은 주로 유튜브와 상업적 건강 제품 사이트 링크를 공유했으며, 이는 콘텐츠 유포에 재정적 이득이 있음을 시사한다.
• 백신 찬성 프로파일은 주로 뉴스 및 과학 웹사이트 링크를 공유했으며, 반백신 사용자보다 더 넓은 다각도의 자료 출처를 보였다.
• 백신 논의에 관여하는 사용자 간의 반복적 상호작용 네트워크는 강한 동질적 혼합 성향을 보였으며, 동질성 계수는 r = 0.813이었다.
• 반백신 및 백신 찬성 사용자 모두의 프로파일 활동 수준은 힘의 법칙 분포를 따르며, 소수의 매우 활동적인 사용자가 콘텐츠의 다수를 차지하고 있음을 시사한다.
• 분류기는 'The Vaccines' 밴드를 언급하는 트윗이나 악성 캥거리 비용을 비유적으로 비교하는 경우와 같은 복잡한 사례를 중립으로 정확히 식별하여 의미 모호성 해소 능력이 뛰어나다는 것을 입증했다.