[论文解读] Early Stage Influenza Detection from Twitter

J Y Li, Claire Cardie|arXiv (Cornell University)|Sep 27, 2013

Data-Driven Disease Surveillance参考文献 27被引用 61

一句话总结

本文提出 Flu Markov Network（Flu-MN），一种无监督的贝叶斯时空模型，通过分析实时流感相关推文，结合空间依赖性和每日时间效应，实现对早期流感疫情的检测。其性能优于 Google Flu Trends 和基于关键词的方法，与 CDC 流感样例门诊就诊数据（ILI）的相关性达到 0.958，展现出在实时流感监测中更高的准确性。

ABSTRACT

Influenza is an acute respiratory illness that occurs virtually every year and results in substantial disease, death and expense. Detection of Influenza in its earliest stage would facilitate timely action that could reduce the spread of the illness. Existing systems such as CDC and EISS which try to collect diagnosis data, are almost entirely manual, resulting in about two-week delays for clinical data acquisition. Twitter, a popular microblogging service, provides us with a perfect source for early-stage flu detection due to its real- time nature. For example, when a flu breaks out, people that get the flu may post related tweets which enables the detection of the flu breakout promptly. In this paper, we investigate the real-time flu detection problem on Twitter data by proposing Flu Markov Network (Flu-MN): a spatio-temporal unsupervised Bayesian algorithm based on a 4 phase Markov Network, trying to identify the flu breakout at the earliest stage. We test our model on real Twitter datasets from the United States along with baselines in multiple applications, such as real-time flu breakout detection, future epidemic phase prediction, or Influenza-like illness (ILI) physician visits. Experimental results show the robustness and effectiveness of our approach. We build up a real time flu reporting system based on the proposed approach, and we are hopeful that it would help government or health organizations in identifying flu outbreaks and facilitating timely actions to decrease unnecessary mortality.

研究动机与目标

• 开发一种基于 Twitter 数据的实时、无监督方法，用于早期检测流感，以解决传统临床监测系统两周的延迟问题。
• 将空间依赖性（即相邻区域对流感检测的影响）整合进概率模型，以提升疫情检测效果。
• 考虑每日时间效应（例如，周一流感推文数量更高）对现有方法中流感信号检测造成的干扰。
• 通过将流感相关推文建模为疾病集体指标而非仅关注数量激增，改进现有基于关键词或点击量的流感监测系统。
• 为公共卫生机构提供一种稳健、数据驱动的早期预警系统，以实现及时干预。

提出的方法

• Flu-MN 使用四阶段马尔可夫网络，对美国各区域流感相关推文活动的时空依赖关系进行建模。
• 将单个 Twitter 用户视为传感器，将流感相关推文聚合为流感疫情的早期指标。
• 通过假设邻近区域的流感活动会影响本地检测结果，利用马尔可夫网络结构捕捉这种依赖关系。
• 显式建模每日时间效应，以应对每周模式（例如，周一推文数量更高）的影响，从而减少误报。
• 采用基于对数几率的线性模型，将流感相关推文数量与实际 CDC 报告的 ILI 门诊就诊人数相关联：log(N^ILI_i,t) = β₀ + β₁·log(Y_i,t) + ε。
• 模型在 2008–2009 年的 Twitter 和 CDC 数据上进行训练，并在 2009–2010 年数据上进行测试，通过相关性和均方根误差（RMSE）评估性能。

实验结果

研究问题

• RQ1 基于时空无监督贝叶斯模型能否比现有基于关键词或点击量的系统更早、更准确地检测流感疫情？
• RQ2 当本地信号微弱时，区域间的空间依赖性在多大程度上能提升早期流感检测效果？
• RQ3 每日时间模式（例如，工作日与周末的流感推文数量差异）在多大程度上影响从 Twitter 数据中检测流感的准确性？
• RQ4 实时 Twitter 数据能否在预测 CDC 报告的 ILI 门诊就诊人数方面优于传统的基于搜索的方法（如 Google Flu Trends）？
• RQ5 Flu-MN 模型是否足够稳健，可作为公共卫生机构可靠的早期预警系统？

主要发现

• Flu-MN 与实际 CDC 报告的 ILI 门诊就诊人数的相关性达到 0.958，显著优于基于查询搜索的 Google Flu Trends（相关性为 0.917）。
• 该模型的均方根误差（RMSE）为 0.364，低于 Google Flu Trends 的 0.390，表明其预测更为准确。
• 通过整合空间依赖性，Flu-MN 在本地流感信号较弱但邻近区域活动较高的区域中提升了检测能力。
• 考虑每日时间效应后，因可预测的每周推文数量波动而引发的误报显著减少。
• 该模型在多个美国区域和时间段内表现出稳健性，验证了其在实时监测中的泛化能力。
• 研究证实，当结合复杂时空模型处理时，Twitter 数据可作为流感疫情的可靠早期指标，有望减少公共卫生响应延迟。