[论文解读] Inductive Conformal Martingales for Change-Point Detection

Denis Volkhonskiy, Ilia Nouretdinov+3 more|arXiv (Cornell University)|Jun 11, 2017

Advanced Statistical Process Monitoring参考文献 15被引用 27

一句话总结

本文提出归纳性合取鞅（Inductive Conformal Martingales, ICMs）用于数据流中的非参数变化点检测，利用符合性度量和投注函数在不假设变化前后分布已知的情况下检测分布漂移。该方法在仅满足最小独立同分布（i.i.d.）假设下，检测性能与最优参数检测器（如CUSUM和Shiryaev-Roberts）相当，展现出在现实场景中极低调参需求下的鲁棒性与高效性。

ABSTRACT

We consider the problem of quickest change-point detection in data streams. Classical change-point detection procedures, such as CUSUM, Shiryaev-Roberts and Posterior Probability statistics, are optimal only if the change-point model is known, which is an unrealistic assumption in typical applied problems. Instead we propose a new method for change-point detection based on Inductive Conformal Martingales, which requires only the independence and identical distribution of observations. We compare the proposed approach to standard methods, as well as to change-point detection oracles, which model a typical practical situation when we have only imprecise (albeit parametric) information about pre- and post-change data distributions. Results of comparison provide evidence that change-point detection based on Inductive Conformal Martingales is an efficient tool, capable to work under quite general conditions unlike traditional approaches.

研究动机与目标

• 开发一种非参数变化点检测方法，无需事先知晓变化前后的分布参数。
• 评估ICMs与经典参数检测器（如CUSUM、Shiryaev-Roberts及后验概率统计量）的性能表现。
• 将ICMs与具备部分分布参数知识的变更点检测预言机进行比较。
• 识别在基于ICMs的变化点检测中最为有效的符合性度量与投注函数组合。
• 在多种数据流条件下（包括一维与多维设置）展示ICMs的鲁棒性与泛化能力。

提出的方法

• 通过符合性度量计算p值，反映在交换性假设下观测值的异常程度。
• 投注函数将p值转换为鞅值，其值持续上升则提示可能存在变化点。
• 归纳方法将训练与预测阶段分离，提升在i.i.d.假设下的计算效率与有效性。
• 评估预计算核密度与基于kNN的投注函数在检测效率方面的表现。
• 该方法依赖于交换性鞅，当i.i.d.假设被违反时，其值发散，从而指示变化点。
• 测试了多种符合性度量，包括基于均值与基于核的非符合性评分，以评估对分布漂移的敏感性。

实验结果

研究问题

• RQ1 归纳性合取鞅（ICMs）是否能在不假设变化前后分布为已知参数模型的前提下，有效检测变化点？
• RQ2 在相同误报率下，ICMs与经典参数检测器（如CUSUM与Shiryaev-Roberts）的性能相比如何？
• RQ3 ICMs在具备部分分布参数知识的预言机条件下，其性能表现如何？
• RQ4 哪一组符合性度量与投注函数组合在平均延迟方面实现最高效的检测？
• RQ5 ICMs在模拟i.i.d.数据流中对变化点位置与幅度变化的鲁棒性如何？

主要发现

• 采用预计算核密度投注函数的ICMs在θ=100且μ₁=1时，平均检测延迟为15.20，与最优检测器性能相当，且在5%误报率下表现优异。
• 在θ=100且μ₁=1条件下，使用kNN投注函数的ICMs平均延迟为34.41，显著高于预言机的10.08，表明在某些配置下仍有改进空间。
• 在θ=200且μ₁=1.5条件下，采用LR投注函数的ICMs平均延迟为7.24，而预言机为4.92，表明在中等程度漂移下性能表现强劲。
• 基于ICMs的方法优于混合投注函数，后者在所有测试投注函数中检测效率最差。
• 尽管为分布自由方法且假设更少，ICMs在所有测试场景中平均延迟均保持在最优参数方法（如CUSUM与Shiryaev-Roberts）的10%-20%以内。
• 结果表明，ICMs是在全参数知识不可用的实际场景中，对经典方法的可行、鲁棒的替代方案。