[论文解读] Compound Sequential Change Point Detection in Multiple Data Streams

Yunxiao Chen, Xiaoou Li|arXiv (Cornell University)|Sep 12, 2019

Advanced Statistical Process Monitoring参考文献 37被引用 4

一句话总结

本文提出了一种用于多数据流的贝叶斯复合序贯变化点检测框架，其中每个流在检测到其变化点后即被永久停用。该方法在时间上最优地控制了活跃流中事后变化流的期望比例，通过一个预言程序证明其在该约束下为最优，并利用随机过程和部分有序空间中的新工具，建立了当流的数量趋于无穷大时的渐近性质。

ABSTRACT

We consider sequential change point detection in multiple data streams, where each stream has its own change point. Once a change point is detected for a data stream, this stream is deactivated permanently. The goal is to maximize the normal operation of the pre-change streams, while controlling the proportion of post-change streams among the active streams at all time points. This problem has wide applications in science, social science, and engineering. Taking a Bayesian formulation, we develop a compound sequential decision theory framework for this problem. Under this framework, an oracle procedure is proposed that is optimal among all sequential procedures which control the expected proportion of post-change streams at each time point. We also investigate the asymptotic behavior of the proposed method when the number of data streams grows large. Several non-standard technical tools involving partially ordered spaces and monotone coupling of stochastic processes are developed for proving the optimality result. Numerical examples are provided to illustrate the use and performance of the proposed method.

研究动机与目标

• 解决每个流具有独立变化点的多数据流序贯变化点检测问题。
• 在所有时间点上最大化变化前流的正常运行，同时控制事后变化流的期望比例。
• 构建一个决策理论框架，以在严格比例约束下平衡检测准确性和流管理。
• 研究当数据流数量增加时该方法的渐近行为。
• 利用随机过程和部分有序空间中的高级工具，建立所提程序的理论最优性。

提出的方法

• 采用贝叶斯框架来建模多个数据流及其变化点的联合演化过程。
• 构建一个预言程序，该程序在所有满足事后变化流比例约束的序贯程序中为最优。
• 该方法采用复合决策结构，即某一流的检测会触发其永久停用。
• 开发了涉及随机过程单调耦合及部分有序空间的新技术工具，以证明最优性。
• 该框架确保在所有时间点上，活跃流中事后变化流的期望比例始终保持有界。
• 进行渐近分析，以研究当数据流数量趋于无穷大时的性能表现。

实验结果

研究问题

• RQ1 如何在控制活跃流中事后变化流比例的同时，最优地检测多数据流中的变化点？
• RQ2 在事后变化流期望比例的约束下，最优序贯程序的结构是什么？
• RQ3 随着数据流数量的增加，所提方法的性能如何扩展？
• RQ4 在该复合检测设置中，证明最优性需要哪些新的数学工具？
• RQ5 所提方法能否在高维流设置下被证明为渐近最优？

主要发现

• 所提出的预言程序被证明是在所有控制每个时间点事后变化流期望比例的序贯程序中为最优的。
• 该方法确保了事后变化流比例的长期控制，从而在所有时间点上维持系统可靠性。
• 当数据流数量增加时，该方法表现出有利的渐近行为，其收敛性质通过先进的随机过程工具推导得出。
• 为部分有序随机过程开发的单调耦合技术，使得在非独立同分布的复合检测设置下证明最优性成为可能。
• 数值例子表明，该方法在实际中能有效检测变化点，同时保持较低的事后变化流比例。
• 理论框架为大规模流式应用中的可扩展、可靠的变化检测提供了基础。