[论文解读] Algorithmic Detection and Analysis of Vaccine-Denialist Sentiment Clusters in Social Networks

Bjarke Mønsted, Sune Lehmann|arXiv (Cornell University)|May 30, 2019

Vaccine Coverage and Hesitancy参考文献 18被引用 10

一句话总结

本文提出一种深度学习方法，用于检测和分析推特上反疫苗与亲疫苗情绪聚类，采用混合神经网络模型，在二元情感分类中达到90.4%的准确率，在三分类分类中达到0.762的F1得分。研究发现，反疫苗用户主要分享YouTube和商业健康网站的链接，而亲疫苗用户则更倾向于分享新闻和科学类媒体的链接，其话语网络表现出强烈的同配性混合（r = 0.813）。

ABSTRACT

Vaccination rates are decreasing in many areas of the world, and outbreaks of preventable diseases tend to follow in areas with particular low rates. Much research has been devoted to improving our understanding of the motivations behind vaccination decisions and the effects of various types of information offered to skeptics, no large-scale study of the structure of online vaccination discourse have been conducted. Here, we offer an approach to quantitatively study the vaccine discourse in an online system, exemplified by Twitter. We use train a deep neural network to predict tweet vaccine sentiments, surpassing state-of-the-art performance, attaining two-class accuracy of $90.4\%$, and a three-class F1 of $0.762$. We identify profiles which consistently produce strongly anti- and pro-vaccine content. We find that strongly anti-vaccine profiles primarily post links to Youtube, and commercial sites that make money on selling alternative health products, representing a conflict of interest. We also visualize the network of repeated mutual interactions of actors in the vaccine discourse and find that it is highly stratified, with an assortativity coefficient of $r = .813$.

研究动机与目标

• 理解社交媒体上，特别是推特上，与疫苗相关话语的结构与行为动态。
• 在大规模范围内识别并描述持续表达反疫苗或亲疫苗情绪的用户画像。
• 分析反疫苗与亲疫苗用户所分享的外部链接类型，以揭示潜在的利益冲突。
• 研究疫苗话语参与者之间互动网络的结构，并评估其分层特征。
• 开发并验证一种高精度的自然语言处理模型，用于分类社交媒体文本中的疫苗情绪。

提出的方法

• 使用结合双向GRU与加权注意力层的混合神经网络架构进行训练，并通过fasttext进行微调，以提升情感分类性能。
• 采用链式解冻微调策略，在冻结初始预训练层后进一步提升模型性能。
• 应用分层10折交叉验证，评估模型在二元（反疫苗 vs. 非反疫苗）与三分类（反疫苗、中性、亲疫苗）任务上的表现。
• 提取并处理包含27个与疫苗、自闭症、健康及音乐相关的特定标签的推文，以改善歧义消解与数据平衡。
• 基于分类器对其推文层面情感预测的置信度，将反疫苗与亲疫苗用户画像识别出来，采用超过50%的推文达到50%置信度的阈值。
• 将外部链接映射至基础URL，并按领域分类为新闻、科学、商业或阴谋论网站，以分析内容偏倚。

实验结果

研究问题

• RQ1 与现有最先进方法相比，该深度学习模型在社交媒体文本中分类疫苗情绪的性能如何？
• RQ2 反疫苗与亲疫苗用户最常链接至哪些类型的网站与内容？这些模式对动机或利益冲突有何暗示？
• RQ3 反疫苗与亲疫苗用户群体的活跃度与发帖频率有何差异？它们是否符合幂律分布？
• RQ4 疫苗话语参与者之间的互动网络具有怎样的结构组织？其同配性程度如何？
• RQ5 分类器的预测结果在多大程度上与情感的定性理解一致，特别是在涉及模糊情况时（如乐队名称、讽刺或隐喻性语言）？

主要发现

• 所提出的深度神经网络在二元情感分类中达到90.4%的准确率，在三分类任务中F1得分为0.762，优于先前的最先进模型。
• 反疫苗用户主要分享YouTube和商业健康产品网站的链接，表明其内容传播中存在经济激励。
• 亲疫苗用户最常链接至新闻与科学类网站，其内容来源多样性高于反疫苗用户。
• 疫苗话语参与者之间重复相互互动的网络表现出强烈的同配性混合，同配系数为r = 0.813。
• 反疫苗与亲疫苗用户的用户活跃度均符合幂律分布，表明少数高度活跃用户产生了不成比例的大量内容。
• 分类器正确识别了复杂案例，如提及乐队“The Vaccines”的推文或讽刺性比较（如“獾捕杀成本”），并将其判定为中性，展现出强大的歧义消解能力。