[论文解读] Robust real-time monitoring of high-dimensional data streams

Ruizhi Zhang, Yajun Mei+1 more|arXiv (Cornell University)|Jun 5, 2019

Advanced Statistical Process Monitoring被引用 5

一句话总结

本文提出了一种基于Tukey-Huber粗误差模型和Box-Cox变换似然函数的稳健、实时监控框架，用于高维数据流。通过为每个特征构建$L_{\beta}$-CUSUM统计量，并结合软阈值化与基于求和的全局报警触发机制，实现对无关特征的过滤。该方法对异常值和瞬态噪声具有强鲁棒性，引入了一种新的虚假报警崩溃点指标，用于量化其抗干扰能力。

ABSTRACT

Robust real-time monitoring of high-dimensional data streams has many important real-world applications such as industrial quality control, signal detection, biosurveillance, but unfortunately it is highly non-trivial to develop efficient schemes due to two challenges: (1) the unknown sparse number or subset of affected data streams and (2) the uncertainty of model specification for high-dimensional data. In this article, motivated by the detection of smaller persistent changes in the presence of larger transient outliers, we develop a family of efficient real-time robust detection schemes for high-dimensional data streams through monitoring feature spaces such as PCA or wavelet coefficients when the feature coefficients are from Tukey-Huber's gross error models with outliers. We propose to construct a new local detection statistic for each feature called $L_{\alpha}$-CUSUM statistic that can reduce the effect of outliers by using the Box-Cox transformation of the likelihood function, and then raise a global alarm based upon the sum of the soft-thresholding transformation of these local $L_{\alpha}$-CUSUM statistics so that to filter out unaffected features. In addition, we propose a new concept called false alarm breakdown point to measure the robustness of online monitoring schemes, and also characterize the breakdown point of our proposed schemes. Asymptotic analysis, extensive numerical simulations and case study of nonlinear profile monitoring are conducted to illustrate the robustness and usefulness of our proposed schemes.

研究动机与目标

• 解决在受影响数据流稀疏且模型设定不确定时，检测高维数据流中微小、持续性变化的挑战。
• 克服瞬态异常值和粗误差对高维环境下实时检测性能的负面影响。
• 开发一种稳健的全局报警机制，能够过滤未受影响的特征，同时保持对微小、持续性偏移的敏感性。
• 提出并形式化一种新的鲁棒性度量——虚假报警崩溃点，用于评估和比较在线监控方案。
• 通过渐近分析、仿真和非线性轮廓监控案例研究，验证该方法的有效性。

提出的方法

• 基于Tukey-Huber粗误差模型下对似然函数进行Box-Cox变换，为每个特征构建局部$L_{\alpha}$-CUSUM统计量，以降低异常值的影响。
• 对$L_{\alpha}$-CUSUM统计量应用软阈值化，以抑制未受变化影响的特征的贡献。
• 通过求和方式将软阈值化后的统计量聚合为全局检验统计量，当检测到显著偏差时触发全系统报警。
• 利用主成分分析（PCA）或小波系数等特征空间降低维度，提升高维数据流中的检测灵敏度。
• 定义并计算虚假报警崩溃点作为鲁棒性的度量，表示在虚假报警率变得不可接受之前，方案可容忍的最大异常值比例。
• 借助渐近理论和仿真研究，验证所提检测方案的统计特性与性能。

实验结果

研究问题

• RQ1 当存在异常值时，如何使实时监控方案在高维数据流中保持对微小、持续性变化的高检测能力？
• RQ2 在高维监控中，如何有效过滤无关或未受影响的特征，同时保持对真实信号的敏感性？
• RQ3 如何对在线监控方案的鲁棒性进行形式化量化与比较？
• RQ4 所提出的$L_{\alpha}$-CUSUM结合Box-Cox变换在粗误差污染下，与标准CUSUM相比，性能优越的程度如何？
• RQ5 所提方法在高维输入的非线性轮廓监控应用中，能否可靠检测到微小变化？

主要发现

• 所提出的结合Box-Cox变换的$L_{\alpha}$-CUSUM显著降低了异常值对局部检测统计量的影响，提升了在污染数据流中的鲁棒性。
• 对局部$L_{\alpha}$-CUSUM统计量进行软阈值化，能有效过滤未受影响的特征，从而提升全局报警决策中的信噪比。
• 基于软阈值化统计量求和的全局报警机制，在保持低虚假报警率的同时，对持续性变化具有高检测能力，尤其在异常值污染下表现稳健。
• 所引入的虚假报警崩溃点提供了一个严谨且可解释的度量，可用于评估和比较在线监控方案的鲁棒性。
• 渐近分析证实了在模型误设和粗误差条件下，所提检测统计量的一致性和收敛性。
• 数值仿真与非线性轮廓监控案例研究均表明，该方法在检测微小、持续性偏移方面，相较于基线方法表现出更优的性能，尤其在瞬态异常值存在的情况下。