[论文解读] Asymptotic Distribution-Free Change-Point Detection for Multivariate and non-Euclidean Data

Lynna Chu, Hao Chen|arXiv (Cornell University)|Jul 1, 2017

Statistical Methods and Inference参考文献 16被引用 3

一句话总结

本文提出三种基于图的非参数检验统计量，用于检测多变量及非欧几里得数据序列中的变化点。通过利用相似性信息的边计数过程，并推导渐近分布自由的p值，该方法在检测非中心变化和尺度变化方面相比先前方法（如Chen和Zhang，2015）显著提升了检测功效与估计精度。

ABSTRACT

We consider the testing and estimation of change-points, locations where the distribution abruptly changes, in a sequence of multivariate or non-Euclidean observations. We study a nonparametric framework that utilizes similarity information among observations, which can be applied to various data types as long as an informative similarity measure on the sample space can be defined. The existing approach along this line has low power and/or biased estimates for change-points under some common scenarios. We address these problems by considering new tests based on similarity information. Simulation studies show that the new approaches exhibit substantial improvements in detecting and estimating change-points. In addition, under some mild conditions, the new test statistics are asymptotically distribution free under the null hypothesis of no change. Analytic p-value approximations to the significance of the new test statistics for the single change-point alternative and changed interval alternative are derived, making the new approaches easy off-the-shelf tools for large datasets. The new approaches are illustrated in an analysis of New York taxi data.

研究动机与目标

• 解决现有非参数变化点检测方法的局限性，特别是当发生尺度变化或非中心变化时功效较低且估计有偏的问题。
• 开发一种灵活的非参数框架，适用于任意数据类型，只要存在有意义的相似性度量即可。
• 在原假设下确保渐近分布自由的性质，以实现无需重采样的解析p值近似。
• 在包括位置变化和尺度变化在内的多种备择假设下，提升变化点位置估计的准确性。
• 通过解析p值近似实现对大规模数据集的可扩展应用，避免计算成本高昂的置换检验。

提出的方法

• 提出三种新的检验统计量：基于图相似性度量的加权边计数、广义边计数和最大型边计数统计量。
• 定义两个核心过程：使用相似性图中的边计数，$ Z_w(t) $ 用于检测位置变化，$ Z_{\text{diff}}(t) $ 用于检测尺度变化。
• 通过序列长度对过程进行标准化，得到 $ Z_w([\nu]) $ 和 $ Z_{\text{diff}}([\nu]) $，在较弱的图条件下，它们收敛于独立的高斯过程。
• 利用极限高斯过程推导解析的 $ p $-值近似，通过偏度校正进一步提升精度。
• 在R包 gSeg 中实现该方法，便于在大规模数据集上直接使用。
• 当独立同分布假设不成立时，通过块置换扩展框架以处理局部依赖性。

实验结果

研究问题

• RQ1 基于相似性的非参数方法能否在多变量和非欧几里得数据中实现比现有方法更高的检测功效？
• RQ2 如何设计检验统计量，使其在变化点远离序列中心时仍能保持高功效？
• RQ3 在一般条件下，能否为基于图的检验统计量建立渐近分布自由的性质？
• RQ4 与朴素渐近近似相比，偏度校正的p值近似在多大程度上提升了精度？
• RQ5 当参数假设不成立时，新统计量在检测尺度变化和区间变化方面表现如何，尤其是在这些情况下？

主要发现

• 当变化点远离序列中心时，加权边计数统计量在检测位置变化方面显著提升了检测功效。
• 结合偏度校正p值的最大型边计数统计量提供了最精确的p值近似，推荐用于一般用途。
• 即使理论上的渐近分布自由条件略有违反，解析p值近似依然保持稳健。
• 新方法在真实世界纽约出租车数据中成功检测到有意义的变化点，识别出感恩节和圣诞节期间出行活动增加。
• 模拟结果表明，对于尺度替代情形，新方法相比Chen和Zhang（2015）显著提升了检验功效，并减少了变化点位置估计的偏差。
• 检验统计量的极限高斯过程是分布自由的，且与底层观测分布无关，从而实现了通用的p值近似。