[论文解读] Homogeneity and change-point detection tests for multivariate data using rank statistics

Alexandre Lung-Yut-Fong, Céline Lévy‐Leduc+1 more|arXiv (Cornell University)|Jul 11, 2011

Statistical Methods and Inference参考文献 36被引用 62

一句话总结

本文提出了一种基于秩统计量的非参数多变量同质性与变化点检测检验方法，将Wilcoxon秩和检验扩展至高维数据。该方法通过动态规划与渐近p值，实现了对分布变化的稳健检测——尤其适用于仅部分变量发生改变的情形，即使在非高斯、相关或污染数据条件下也表现出色。

ABSTRACT

Detecting and locating changes in highly multivariate data is a major concern in several current statistical applications. In this context, the first contribution of the paper is a novel non-parametric two-sample homogeneity test for multivariate data based on the well-known Wilcoxon rank statistic. The proposed two-sample homogeneity test statistic can be extended to deal with ordinal or censored data as well as to test for the homogeneity of more than two samples. The second contribution of the paper concerns the use of the proposed test statistic to perform retrospective change-point analysis. It is first shown that the approach is computationally feasible even when looking for a large number of change-points thanks to the use of dynamic programming. Computable asymptotic $p$-values for the test are then provided in the case where a single potential change-point is to be detected. Compared to available alternatives, the proposed approach appears to be very reliable and robust. This is particularly true in situations where the data is contaminated by outliers or corrupted by noise and where the potential changes only affect subsets of the coordinates of the data.

研究动机与目标

• 开发一种针对多变量数据的稳健非参数两样本同质性检验，且不依赖于参数分布假设。
• 将Wilcoxon秩统计量扩展至多变量、有序或右删失数据，并检验超过两组样本之间的同质性。
• 实现在高维时间序列中仅影响部分变量的变化点的回溯检测。
• 通过动态规划确保多变化点检测的计算可行性，并为单个变化点检测提供可计算的渐近p值。
• 解决核方法与参数方法在高维情况下的局限性，尤其在数据污染、重尾分布或弱信号模式下的表现。

提出的方法

• 提出一种基于边际秩统计量的多变量同质性检验，基于非参数框架下的Wilcoxon秩和检验。
• 使用动态规划高效搜索数据中的多个变化点，降低计算复杂度。
• 推导在原假设下检验统计量的渐近分布，从而实现单个变化点检测的p值计算。
• 通过逆协方差矩阵（Σ⁻¹）的变换稳定检验统计量，并确保仿射不变性。
• 证明在原假设下，检验统计量弱收敛于布朗运动的泛函，确保理论有效性。
• 利用柯西-施瓦茨不等式与方差项的分解，对检验统计量二次型的期望值进行上界估计。

实验结果

研究问题

• RQ1 能否构建一种基于秩统计量的非参数多变量同质性检验，使其对非正态性、相关结构及数据污染具有鲁棒性，尤其在高维数据中？
• RQ2 如何将Wilcoxon秩统计量扩展至多变量情形，以检测位置变化并保持鲁棒性？
• RQ3 在同质性原假设下，所提检验统计量的渐近分布为何？
• RQ4 该方法能否检测到仅影响高维数据中部分变量的变化，尤其在整体分布复杂的情况下？
• RQ5 在各种分布假设下，与基于核方法或参数方法的替代方案相比，该方法在统计功效与鲁棒性方面表现如何？

主要发现

• 基于秩统计量的同质性检验对非正态性、重尾分布及数据污染具有鲁棒性，在高维设置下优于核方法。
• 该检验对局部位置变化替代假设具有良好的功效，尤其当仅部分变量发生改变时表现更优。
• 单个变化点检测的渐近p值可计算，从而实现无需重抽样的正式推断。
• 动态规划的应用使得多个变化点的高效检测成为可能，即使在大规模数据集中亦可实现。
• 在原假设下，检验统计量弱收敛于独立布朗运动的泛函，验证了其渐近分布的正确性。
• 该方法具有仿射不变性，在坐标间存在中等程度相关性时表现良好，避免了在非高斯条件下参数检验如Hotelling’s T²的缺陷。