[论文解读] Change-point Detection for Sparse and Dense Functional Data in General Dimensions

Carlos Misael Madrid Padilla, Daren Wang+2 more|arXiv (Cornell University)|May 19, 2022

Statistical Methods and Inference被引用 5

一句话总结

本文提出功能性种子二元分割（FSBS），一种基于核方法的函数型数据变化点检测方法，适用于在一般d维域上观测的函数型数据，可处理稀疏与密集采样。FSBS在理论上实现了多个变化点的稳定检测与精确定位，其误差率表现出与曲线数量和采样频率相关的相变现象，揭示了尖锐的误差率特性，是首个在具有理论保证的前提下处理一般d维函数型数据的方法。

ABSTRACT

We study the problem of change-point detection and localisation for functional data sequentially observed on a general d-dimensional space, where we allow the functional curves to be either sparsely or densely sampled. Data of this form naturally arise in a wide range of applications such as biology, neuroscience, climatology, and finance. To achieve such a task, we propose a kernel-based algorithm named functional seeded binary segmentation (FSBS). FSBS is computationally efficient, can handle discretely observed functional data, and is theoretically sound for heavy-tailed and temporally-dependent observations. Moreover, FSBS works for a general d-dimensional domain, which is the first in the literature of change-point estimation for functional data. We show the consistency of FSBS for multiple change-point estimations and further provide a sharp localisation error rate, which reveals an interesting phase transition phenomenon depending on the number of functional curves observed and the sampling frequency for each curve. Extensive numerical experiments illustrate the effectiveness of FSBS and its advantage over existing methods in the literature under various settings. A real data application is further conducted, where FSBS localises change-points of sea surface temperature patterns in the south Pacific attributed to El Nino.

研究动机与目标

• 为解决在一般d维域上函数型数据缺乏变化点检测方法的问题。
• 开发一种计算高效的算法，以处理离散观测、含测量误差的噪声函数型数据。
• 在时间依赖与重尾误差条件下，为多个变化点提供理论一致性与精确的定位误差率。
• 将现有方法扩展至极端稀疏情形，即每条曲线仅在单一点观测（n=1）。
• 提供一个统一的框架，适用于多种现实世界数据，如气候学与神经科学中的函数型时间序列。

提出的方法

• FSBS采用基于核的检验统计量，通过比较时间区间内函数型曲线来检测变化点。
• 利用带种子区间的二元分割策略，高效定位多个变化点。
• 该方法借助核平滑技术，在一般d维域上估计均值函数，从而在数据几何结构上具备灵活性。
• 引入对函数型噪声与测量误差的理论正则性条件，包括时间依赖性与重尾分布。
• 该算法适用于密集采样（每条曲线点数较多）与稀疏采样（如n=1）两种情形，确保在不同数据类型下的鲁棒性。
• 关键组成部分是使用加权核估计器，以考虑函数型域中空间与时间结构。

实验结果

研究问题

• RQ1 能否开发一种适用于任意d维域（而不仅限于[0,1]）的函数型数据变化点检测方法？
• RQ2 在稀疏采样条件下（包括n=1的极端情形），变化点检测的理论性能如何？
• RQ3 变化点定位误差率如何依赖于曲线数量T与采样频率n？
• RQ4 能否实现具有测量误差与时间依赖性的函数型数据中多个变化点检测的一致性？
• RQ5 当采样制度从稀疏转向密集时，估计误差中会涌现出何种相变行为？

主要发现

• 在标准正则性条件下，FSBS即使在重尾与时间依赖误差下，仍能实现多个变化点的稳定检测。
• 该方法提供了尖锐的定位误差率，其相变行为取决于T（曲线数量）与n（采样频率）之间的相互作用。
• 在极端稀疏情形下（每条曲线仅在单一点观测，即n=1），FSBS仍能实现一致的变化点定位，这是文献中的新贡献。
• 理论分析表明，随着n增加，误差率改善，并在临界采样频率处出现收敛行为的明显转变。
• 数值实验表明，FSBS在模拟与真实世界场景中均优于现有方法，尤其在稀疏与高维函数型数据中表现突出。
• 真实数据应用成功定位了南太平洋海表温度模式中由厄尔尼诺引发的变化点，验证了其实际应用价值。