[论文解读] Crowdbreaks: Tracking Health Trends using Public Social Media Data and Crowdsourcing

Martin Mueller, Marcel Salathé|arXiv (Cornell University)|May 14, 2018

Data-Driven Disease Surveillance参考文献 21被引用 3

一句话总结

Crowdbreaks 是一个开放的、实时的平台，通过利用公众社交媒体数据（主要是 Twitter）的众包标注，结合主动学习和持续模型微调，追踪健康趋势。通过自动化数据收集、过滤、标注和分类器训练，该平台解决了概念漂移和高标注成本的问题，实现了动态、透明且可重复使用的公共卫生监测工具，在监测疫苗态度和疾病相关趋势方面已证明具有实际效用。

ABSTRACT

In the past decade, tracking health trends using social media data has shown great promise, due to a powerful combination of massive adoption of social media around the world, and increasingly potent hardware and software that enables us to work with these new big data streams. At the same time, many challenging problems have been identified. First, there is often a mismatch between how rapidly online data can change, and how rapidly algorithms are updated, which means that there is limited reusability for algorithms trained on past data as their performance decreases over time. Second, much of the work is focusing on specific issues during a specific past period in time, even though public health institutions would need flexible tools to assess multiple evolving situations in real time. Third, most tools providing such capabilities are proprietary systems with little algorithmic or data transparency, and thus little buy-in from the global public health and research community. Here, we introduce Crowdbreaks, an open platform which allows tracking of health trends by making use of continuous crowdsourced labelling of public social media content. The system is built in a way which automatizes the typical workflow from data collection, filtering, labelling and training of machine learning classifiers and therefore can greatly accelerate the research process in the public health domain. This work introduces the technical aspects of the platform and explores its future use cases.

研究动机与目标

• 解决静态、不可复用的 NLP 模型在公共卫生监测中因概念漂移和过时训练数据带来的局限性。
• 通过实施持续的众包标注流水线，降低人工数据标注的高成本和低效率。
• 创建一个透明、开放的平台，支持公共卫生机构和研究人员进行实时、多类别健康趋势监测。
• 实现灵活、可复用且持续更新的机器学习模型，用于追踪社交媒体上不断演变的健康行为和情绪。
• 通过可扩展的人机协同标注，实现对健康相关内容（如疫苗犹豫或疾病症状）的细粒度分类。

提出的方法

• 该平台使用流式处理管道，通过基于关键词的过滤方法实时收集 Twitter 数据，用于健康相关主题。
• 实施主动学习框架，优先选择预测不确定性高且时间上较新的推文进行标注。
• 通过基于 Ruby on Rails 和 PostgreSQL 构建的 Web 用户界面收集众包标注，支持可扩展的数据标注。
• 利用标注数据持续微调监督式机器学习分类器（如用于情感分析的 fastText），形成持续反馈循环。
• 系统与 Elasticsearch 集成用于数据存储，与 Kibana 集成用于可视化，并使用 Redis 实现消息队列和优先级管理。
• 通过 Flask API 将流式处理管道与用户界面连接，实现数据的实时流动和模型更新。

实验结果

研究问题

• RQ1 持续的、实时的公众社交媒体数据标注在多大程度上能提升健康趋势检测模型的鲁棒性和可复用性？
• RQ2 在公共卫生监测中，使用不确定性采样进行主动学习在多大程度上能降低标注成本，同时保持或提升模型性能？
• RQ3 像 Crowdbreaks 这样开放、透明且由社区驱动的平台，能否克服如 Google Flu Trends 等专有系统所存在的局限性？
• RQ4 该平台在多大程度上能实时捕捉到如疫苗犹豫等细微的健康相关情绪？
• RQ5 在动态社交媒体环境中，时间相关性和标签不确定性对数据标注和模型训练效率有何影响？

主要发现

• Crowdbreaks 通过持续的数据收集和基于主动学习的标注，实现了对健康趋势（如疫苗态度）的实时追踪。
• 平台通过使用新标注数据持续微调模型，成功缓解了概念漂移问题，提升了长期模型性能和可复用性。
• 通过优先处理不确定性和近期数据，该系统相比随机采样显著降低了标注成本并提高了标注效率。
• 使用众包标注数据训练的 fastText 分类器在实时识别疫苗相关推文情感方面表现出稳定性能。
• 该平台的架构支持可扩展、透明且可扩展的公共卫生监测，具备与 Wikipedia 点击率等其他数据源集成以实现混合疾病预测的潜力。
• 该系统在大规模、多类别健康相关内容标注方面展现出可行性，支持对公共卫生的细粒度监测。