[论文解读] Anomaly Detection of Mobility Data with Applications to COVID-19 Situational Awareness

Stefano M. Iacus, Francesco Sermi+3 more|arXiv (Cornell University)|Nov 9, 2020

Human Mobility and Location-Based Analysis参考文献 23被引用 7

一句话总结

本文提出了一种稳健、数据驱动的异常检测系统，用于高频、高维的移动性数据，利用移动定位数据中的起讫矩阵（ODMs）检测区域移动性突然增加或下降的情况。该系统采用简单而有效的3-sigma方法，结合移动平均与滚动标准差，并引入隐私保护阈值，实现实时异常检测，从而为公共卫生响应（如新冠疫情）提供早期态势感知。

ABSTRACT

This work introduces a live anomaly detection system for high frequency and high-dimensional data collected at regional scale such as Origin Destination Matrices of mobile positioning data. To take into account different granularity in time and space of the data coming from different sources, the system is designed to be simple, yet robust to the data diversity, with the aim of detecting abrupt increase of mobility towards specific regions as well as sudden drops of movements. The methodology is designed to help policymakers or practitioners, and makes it possible to visualise anomalies as well as estimate the effect of COVID-19 related containment or lifting measures in terms of their impact on human mobility as well as spot potential new outbreaks related to large gatherings.

研究动机与目标

• 开发一种可扩展、稳健的异常检测系统，用于区域尺度下的高维、高频移动性数据。
• 检测移动性突然增加（例如由于大规模聚集事件）和突然下降（例如由于数据质量问题或政策执行）的情况。
• 支持政策制定者评估公共卫生危机期间防控或解封措施对人类移动性的影响。
• 提供一种数据驱动、可操作的工具，用于早期预警系统，无需依赖复杂建模或对数据源的假设。
• 通过使用匿名化、聚合的ODMs并最小化调参，确保隐私保护与实际可行性。

提出的方法

• 以起讫矩阵（ODMs）作为输入，表示随时间推移在地理区域之间的人群流动。
• 应用移动平均（p=4）和过去周期的滚动标准差，以建模基线移动性行为。
• 使用75百分位数阈值（t）和3-sigma规则设定动态上下限：U = max(MA + t, MA + 3SD)，L = min(MA - t, MA - 3SD, 0)。
• 当观测值超出这些边界时标记为异常，并以相对增量衡量信号强度：INC = (ODM / MA - 1) × 100%。
• 根据相对增加或减少程度，将信号划分为四个等级（0–3），实现视觉与操作层面的优先排序。
• 分别对流入（·,j）和流出（i,·）流量进行分析，并在R中使用稀疏矩阵计算以确保计算效率。

实验结果

研究问题

• RQ1 如何设计一种简单而稳健的异常检测系统，以处理来自多个来源的多样化、高维、高频移动性数据？
• RQ2 在不依赖复杂模型的前提下，数据驱动的非参数方法在多大程度上能够检测到移动性激增与数据丢失？
• RQ3 仅使用聚合的、匿名的ODMs，此类系统能否可靠地标记潜在与疫情爆发相关的聚集事件或政策影响？
• RQ4 隐私保护阈值（如th=20）与稳健的统计边界如何在保持对现实世界移动性变化敏感性的同时共存？
• RQ5 在大规模移动性异常检测中，计算效率与空间信息利用之间存在何种权衡？

主要发现

• 该系统仅通过移动平均、滚动标准差和75百分位数阈值，成功检测到移动性激增与数据丢失。
• 即使在10,000×10,000规模的ODMs下，系统也能以每天或每小时为粒度处理多达20个国家的数据，且每日期计算时间少于一小时。
• 异常根据相对于移动平均的相对偏差划分为四个等级，实现对数千个信号的优先视觉检查。
• 系统对数据多样性具有鲁棒性，且无需对空间依赖性或分布形式作参数假设。
• 通过结合每日波动性（通过分位数阈值）与长期趋势（通过移动平均），该方法有效避免了误报。
• 系统具备实际可操作性，生成可解释的实时信号，适用于流行病学早期预警系统输入。