[论文解读] Addressing machine learning concept drift reveals declining vaccine sentiment during the COVID-19 pandemic

Martin Müller, Marcel Salathé|arXiv (Cornell University)|Dec 3, 2020

Data Stream Mining Techniques参考文献 30被引用 16

一句话总结

本研究表明，使用大流行前的Twitter数据进行训练的机器学习模型在对COVID-19大流行期间的疫苗情绪进行分类时，会因严重的概念漂移而出现系统性低估，导致对疫苗情绪下降趋势的检测失效。通过将FastText和BERT分类器应用于2017–2020年期间标注的Twitter数据，作者发现，2020年之前训练的模型无法检测到积极情绪的急剧下降，凸显了在危机期间实时社交媒体监控中实施持续再训练和主动学习框架的紧迫需求。

ABSTRACT

Social media analysis has become a common approach to assess public opinion on various topics, including those about health, in near real-time. The growing volume of social media posts has led to an increased usage of modern machine learning methods in natural language processing. While the rapid dynamics of social media can capture underlying trends quickly, it also poses a technical problem: algorithms trained on annotated data in the past may underperform when applied to contemporary data. This phenomenon, known as concept drift, can be particularly problematic when rapid shifts occur either in the topic of interest itself, or in the way the topic is discussed. Here, we explore the effect of machine learning concept drift by focussing on vaccine sentiments expressed on Twitter, a topic of central importance especially during the COVID-19 pandemic. We show that while vaccine sentiment has declined considerably during the COVID-19 pandemic in 2020, algorithms trained on pre-pandemic data would have largely missed this decline due to concept drift. Our results suggest that social media analysis systems must address concept drift in a continuous fashion in order to avoid the risk of systematic misclassification of data, which is particularly likely during a crisis when the underlying data can change suddenly and rapidly.

研究动机与目标

• 调查机器学习模型中的概念漂移如何影响公共卫生危机期间社交媒体上公众情绪变化的检测。
• 评估在大流行前数据上训练的NLP模型在应用于COVID-19大流行期间的疫苗情绪数据时的表现。
• 证明概念漂移会显著削弱静态模型在实时情绪分析中的可靠性，尤其是在快速演变的事件中。
• 倡导在社交媒体监控系统中整合主动学习和持续再训练框架，以在危机期间保持准确性。

提出的方法

• 使用Twitter公开API从2017年7月到2020年10月收集了5750万条英文Twitter推文，通过疫苗相关关键词进行过滤。
• 通过Crowdbreaks平台对44,843条推文进行标注，采用三分类标签：对疫苗的积极、中性或消极情绪，Fleiss’ kappa值为0.30。
• 在标注数据上训练FastText和BERT分类器，并通过超参数调优以实现全数据集上的最佳性能。
• 采用时间窗口评估策略，比较模型在大流行前（2018年）和大流行期间（2020年）数据上的表现，以隔离概念漂移的影响。
• 使用Crowdbreaks文本分类库和COVID-Twitter-BERT进行BERT微调，预处理包括转为小写、ASCII标准化，以及对用户提及和URL进行匿名化处理。
• 通过时间分割评估模型表现，量化因概念漂移导致的性能下降，将其与数据分布变化区分开来。

实验结果

研究问题

• RQ1 NLP模型中的概念漂移在多大程度上损害了在COVID-19大流行期间对社交媒体上公众情绪变化的检测？
• RQ2 在2020年之前训练的模型在应用于大流行期间的Twitter数据时，其在疫苗情绪分类上的表现会如何退化？
• RQ3 与疫苗相关的论述在主题和语言上的变化对分类器可靠性有何影响，以及如何缓解这一问题？
• RQ4 主动学习和持续再训练框架是否能有效应对实时公共卫生监测系统中的概念漂移？

主要发现

• 在2018年大流行前数据上训练的模型在应用于2020年数据时表现出显著的性能退化，F1分数因概念漂移而大幅下降。
• 大流行期间疫苗积极情绪的下降在很大程度上被2020年之前训练的模型所忽略，表明实时监控系统存在关键性失效。
• 本研究证实，概念漂移并非轻微的统计波动，而是对危机情境下NLP系统可靠性的重大威胁。
• FastText和BERT模型在样本内数据上均表现出良好性能，但无法泛化到2020年以后的数据，凸显了动态再训练的必要性。
• 观察到的概念漂移归因于话语变化，如极化程度上升和新术语的出现，而非随机噪声或数据偏差。
• 结果表明，静态模型不足以支持公共卫生监测；持续的标注和模型再训练对于实现实时且准确的情绪检测至关重要。