[论文解读] Localized epidemic detection in networks with overwhelming noise

Eli A. Meirom, Chris Milling+4 more|arXiv (Cornell University)|Feb 6, 2014

Complex Network Analysis Techniques被引用 4

一句话总结

本文提出了一种分布式、局部化的算法，仅使用噪声大、不可靠的本地报告和部分网络知识，即可检测网络中的传播性疫情。尽管存在大量误报和漏报（误报率超过真实信号），该算法通过聚合本地报告模式并利用网络拓扑结构，仍能准确识别疫情，即使在信息极少且存在多个信息源的情况下，也能实现近乎完美的检测效果。

ABSTRACT

We consider the problem of detecting an epidemic in a population where individual diagnoses are extremely noisy. The motivation for this problem is the plethora of examples (influenza strains in humans, or computer viruses in smartphones, etc.) where reliable diagnoses are scarce, but noisy data plentiful. In flu/phone-viruses, exceedingly few infected people/phones are professionally diagnosed (only a small fraction go to a doctor) but less reliable secondary signatures (e.g., people staying home, or greater-than-typical upload activity) are more readily available. These secondary data are often plagued by unreliability: many people with the flu do not stay home, and many people that stay home do not have the flu. This paper identifies the precise regime where knowledge of the contact network enables finding the needle in the haystack: we provide a distributed, efficient and robust algorithm that can correctly identify the existence of a spreading epidemic from highly unreliable local data. Our algorithm requires only local-neighbor knowledge of this graph, and in a broad array of settings that we describe, succeeds even when false negatives and false positives make up an overwhelming fraction of the data available. Our results show it succeeds in the presence of partial information about the contact network, and also when there is not a single "patient zero", but rather many (hundreds, in our examples) of initial patient-zeroes, spread across the graph.

研究动机与目标

• 解决在缺乏可靠诊断数据但存在大量噪声性次级指标（如症状报告、设备异常）时，检测传播性疫情的挑战。
• 设计一种分布式、计算高效的算法，仅依赖网络结构的局部知识和一次报告数据快照进行运行。
• 实现在真实感染节点数量远少于误报和漏报节点数量的情况下，仍能实现准确的疫情检测。
• 确保对不完整或不准确的网络拓扑知识（如节点距离或邻居集合估计错误）具有鲁棒性。
• 处理存在多个疫情源头而非单一‘零号病人’的场景。

提出的方法

• 该算法采用局部热点聚集策略，每个节点通过评估其局部半径内报告邻居的密度，检测异常聚集现象，以识别疫情征兆。
• 应用统计假设检验，将观察到的局部报告密度与网络中均匀随机报告的零假设模型进行比较。
• 该方法仅依赖本地邻域信息——每个节点仅需了解其直接邻居及其报告状态，无需全局网络结构知识。
• 采用基于球体的聚合方式：对每个节点，统计其半径r内报告邻居的数量，并与零假设模型下的期望值进行比较。
• 该算法设计具有拓扑噪声鲁棒性：可容忍距离或邻居集合估计错误，仅在报告节点接近疫情前沿时性能下降。
• 理论分析表明，该方法在广泛网络和报告条件下，即使误报和漏报比例接近1，仍能保持极低错误率。

实验结果

研究问题

• RQ1 当绝大多数报告的感染均为误报和漏报时，我们能否检测到网络中的传播性疫情？
• RQ2 我们能否仅使用一次报告数据快照和本地网络知识，在不观察疫情完整时间演化过程的情况下检测疫情？
• RQ3 当网络中存在多个疫情源头而非单一起源时，该算法是否仍具有效性？
• RQ4 当底层网络拓扑仅部分或不准确已知时，检测性能的鲁棒性如何？
• RQ5 在极端噪声水平下（如真实报告率远低于虚假报告率），该算法是否仍能保持准确性？

主要发现

• 该算法在极低错误率下运行——即使仅有0.003N个真实报告节点和0.08N个误报，也表现出对高度噪声环境的强鲁棒性。
• 错误率随网络规模增大呈指数下降，与理论预测一致，且在大规模真实网络（如Facebook，63K个节点；Enron，33,696个节点）上仍保持极低水平。
• 当误报和漏报率超过真实阳性数量时，该方法仍能成功检测疫情，包括虚假报告比例接近1的情况。
• 性能仅在报告节点接近疫情前沿且网络拓扑估计错误时下降，但第一类错误率不受拓扑噪声影响。
• 该算法对网络知识噪声具有强鲁棒性：即使距离估计错误概率达50%（±1或±2），错误率仍保持较低，尤其在半径较大或报告节点位于网络中心时表现更优。
• 该算法可高效扩展，适合分布式部署，计算复杂度低，已在真实世界AS拓扑和电子邮件网络中成功应用。