[论文解读] Scalable SUM-Shrinkage Schemes for Distributed Monitoring Large-Scale Data Streams

K. Liu, Ruizhi Zhang+1 more|arXiv (Cornell University)|Mar 29, 2016

Advanced Statistical Process Monitoring参考文献 25被引用 12

一句话总结

本文提出了一种可扩展的 SUM-收缩方案，用于大规模数据流的分布式监控，通过并行的局部 CUSUM 类检测程序结合 SUM-收缩技术，实现在低内存开销下的高效全局决策。该方法在稀疏变化场景下实现了最优检测延迟，同时保持了较低的计算成本和全局误报率控制。

ABSTRACT

In this article, motivated by biosurveillance and censoring sensor networks, we investigate the problem of distributed monitoring large-scale data streams where an undesired event may occur at some unknown time and affect only a few unknown data streams. We propose to develop scalable global monitoring schemes by parallel running local detection procedures and by combining these local procedures together to make a global decision based on SUM-shrinkage techniques. Our approach is illustrated in two concrete examples: one is the nonhomogeneous case when the pre-change and post-change local distributions are given, and the other is the homogeneous case of monitoring a large number of independent $N(0,1)$ data streams where the means of some data streams might shift to unknown positive or negative values. Numerical simulation studies demonstrate the usefulness of the proposed schemes.

研究动机与目标

• 解决在仅少数数据流受影响的情况下，高效检测大规模分布式数据流中罕见且稀疏变化的挑战。
• 克服传统基于似然比的方法在高维或大规模流式处理环境下的计算不可行性。
• 设计一种可扩展的全局监控框架，利用并行本地检测实现最小通信和内存开销。
• 在稀疏变化条件下保持快速检测延迟的同时，确保全局误报率控制。
• 提供一种通用且灵活的方法论，适用于非同质和同质数据流场景。

提出的方法

• 在 K 个分布式数据流中的每一个上独立部署计算轻量级的本地检测程序（例如，CUSUM 类统计量），每个时间步仅需 O(1) 的计算和内存开销。
• 通过 SUM-收缩技术——具体包括硬阈值化、软阈值化、顺序统计量和组合阈值化方案——将本地检测统计量合并为全局停止规则。
• 基于本地统计量的大小和排序设计阈值规则，以检测全局变化事件，同时抑制未受影响流中的噪声。
• 利用更新理论和大偏差分析，推导在预变化和后变化分布下停止时间的渐近性质。
• 通过构建适应受影响流数量（最多 r 个）的停止规则，实现检测延迟的最优性，利用顺序统计量和组合阈值化提升灵敏度。
• 利用 SUM-收缩框架，在实现可扩展、分布式部署的同时，保持全局误报率控制。

实验结果

研究问题

• RQ1 如何设计一种可扩展的全局监控方案，用于仅少数流受变化影响的大规模数据流？
• RQ2 如何以最小通信和内存成本，最优地将分布式传感器的本地检测统计量合并为全局决策？
• RQ3 SUM-收缩方案是否能在稀疏变化场景下实现最优检测延迟，同时保持全局误报率控制？
• RQ4 不同阈值策略（硬阈值、软阈值、基于顺序的、组合）在检测延迟和鲁棒性方面有何比较优势？
• RQ5 在同质和非同质分布假设下，SUM-收缩方案的停止时间可建立哪些理论保证？

主要发现

• 所提出的 SUM-收缩方案在稀疏变化场景下实现了渐近最优的检测延迟，其中最多 r 个流受到影响。
• 硬阈值化和软阈值化方案的期望停止时间呈 $ \frac{a}{\sum_{k=1}^{K} I(g_k, f_k)} - \frac{b}{\sum_{k=1}^{K} I(g_k, f_k)} + O(1) $ 的形式，证实了其渐近最优性。
• 组合阈值化方案 $ N_{\text{comb},r}(a,b) $ 的检测延迟上界由停止时间 $ \tau(a,b) $ 控制，后者基于前 r 个本地统计量的和推导得出。
• 对于顺序阈值化方案 $ N_{\text{order},r}(a) $，当最多 r 个流受影响时，其检测延迟同样有界且渐近最优。
• 这些方案每时间步仅需 $ O(K) $ 的计算和 $ O(K) $ 的内存开销，使其适用于大规模数据流的长期监控。
• 数值模拟验证了所提方案在低误报率和快速检测时间下检测稀疏变化的有效性与高效性。