[论文解读] Bayesian Change Point Detection for Functional Data

Xiuqi Li, Subhashis Ghosal|arXiv (Cornell University)|Aug 3, 2018

Metabolomics and Mass Spectrometry Studies参考文献 12被引用 3

一句话总结

该论文提出了一种基于离散小波变换（DWT）提取特征的贝叶斯变点检测方法，通过为每个特征独立建模其变点，并采用小波特异性先验。该方法通过最小化相似性矩阵中组间与组内相似性的比值来识别变点，在不同噪声水平下对气候数据的变点（1914年、1839年和1969年）实现了高精度检测。

ABSTRACT

We propose a Bayesian method to detect change points for functional data. We extract the features of a sequence of functional data by the discrete wavelet transform (DWT), and treat each sequence of feature independently. We believe there is potentially a change in each feature at possibly different time points. The functional data evolves through such changes throughout the sequences of observations. The change point for this sequence of functional data is the cumulative effect of changes in all features. We assign the features with priors which incorporate the characteristic of the wavelet coefficients. Then we compute the posterior distribution of change point for each sequence of feature, and define a matrix where each entry is a measure of similarity between two functional data in this sequence. We compute the ratio of the mean similarity between groups and within groups for all possible partitions, and the change point is where the ratio reaches the minimum. We demonstrate this method using a dataset on climate change.

研究动机与目标

• 开发一种用于检测函数型数据中变点的贝叶斯框架，尤其适用于在多个特征中渐进发生的变点。
• 解决在函数型数据中检测结构性变化的挑战，其中整体变化是单个特征变化的累积效应。
• 将小波系数的特性融入先验分布，以提高变点检测的敏感性和特异性。
• 通过在每次检测后对数据进行分割，实现递归检测多个变点，从而支持函数序列的分层分割。
• 在真实气候数据上验证该方法，展示其在噪声水平增加时的鲁棒性，并识别出重要的气候转型时期。

提出的方法

• 对函数型数据应用离散小波变换（DWT），提取小波系数，并将每个系数序列独立视为一元时间序列处理。
• 为小波系数分配小波特异性先验，以反映其已知的稀疏性和局部化特性，从而增强检测敏感性。
• 使用贝叶斯推断计算每个特征序列的变点后验分布，纳入估计中的不确定性。
• 基于小波系数序列，定义函数型观测之间的相似性矩阵，衡量数据中成对观测的相似性。
• 对每个潜在变点，计算组间（变点前后）平均相似性与组内相似性的比值；选择该比值最小的点作为变点。
• 对检测到的变点所形成的子组递归应用该方法，直至满足停止准则（如最小相似性差异）为止，从而实现多个变点的检测。

实验结果

研究问题

• RQ1 通过小波变换对特征层面变化进行建模，贝叶斯方法是否能有效检测函数型数据中的变点？
• RQ2 当噪声水平变化时，该方法在真实气候数据中检测变点的表现如何，特别是在噪声变化条件下的稳定性如何？
• RQ3 多个小波特征变化的累积效应在多大程度上能实现比单特征方法更准确的整体变点检测？
• RQ4 该方法能否以分层方式递归检测多个变点？其在具有多个结构突变的长序列上的表现如何？
• RQ5 与非信息性或标准先验相比，使用小波特异性先验在多大程度上提升了检测精度？

主要发现

• 该方法在伯克利地球气候数据中成功检测到1914年、1839年和1969年的真实变点，其中首次检测到的变点对应于全球气温模式的重大转变。
• 在低噪声条件下（方差0.01），该方法在模拟研究中精确检测出全部三个真实变点，与真实情况完全一致。
• 在中等噪声条件下（方差0.1），该方法正确检测了大多数变点，包括26、49以及68–75，而E-Divisive方法则出现部分偏差。
• 即使在高噪声条件下（方差1），该方法仍能检测到多个变点（如5、24、40、46、94、99），表明其对噪声具有鲁棒性，尽管存在较多误报。
• 该方法的分层应用在气候数据中识别出15个子组，揭示了随时间推移气候转变的复杂多级结构。
• 相似性比值准则能有效识别变点，最小比值对应于数据序列中最显著的结构断裂。