[论文解读] Consistent detection and optimal localization of all detectable change points in piecewise stationary arbitrarily sparse network-sequences

Sharmodeep Bhattacharyya, Shirshendu Chatterjee+1 more|arXiv (Cornell University)|Sep 4, 2020

Data-Driven Disease Surveillance参考文献 40被引用 4

一句话总结

本论文提出了一种一致的离线变化点检测与定位方法，适用于分段平稳、任意稀疏的网络序列，通过在邻接矩阵上使用自适应截断CUSUM统计量实现。在仅需最小渐近条件（如网络规模或平均度）的前提下，该方法无需事先对稀疏性、变化点数量或最小间距进行假设，即可实现所有可检测变化点的一致检测与最优定位。

ABSTRACT

We consider the offline change point detection and localization problem in the context of piecewise stationary networks, where the observable is a finite sequence of networks. We develop algorithms involving some suitably modified CUSUM statistics based on adaptively trimmed adjacency matrices of the observed networks for both detection and localization of single or multiple change points present in the input data. We provide rigorous theoretical analysis and finite sample estimates evaluating the performance of the proposed methods when the input (finite sequence of networks) is generated from an inhomogeneous random graph model, where the change points are characterized by the change in the mean adjacency matrix. We show that the proposed algorithms can detect (resp. localize) all change points, where the change in the expected adjacency matrix is above the minimax detectability (resp. localizability) threshold, consistently without any a priori assumption about (a) a lower bound for the sparsity of the underlying networks, (b) an upper bound for the number of change points, and (c) a lower bound for the separation between successive change points, provided either the minimum separation between successive pairs of change points or the average degree of the underlying networks goes to infinity arbitrarily slowly. We also prove that the above condition is necessary to have consistency.

研究动机与目标

• 解决在无稀疏性、变化点数量或最小间距先验知识的前提下，对稀疏、分段平稳网络时序序列中变化点的检测与定位挑战。
• 提出一种理论基础坚实的检测方法，确保网络序列中所有可检测变化点的一致检测与最优定位。
• 在平均邻接矩阵发生偏移的非齐次随机图模型下，提供有限样本性能保证。
• 建立一致性所需的充要条件，表明所提条件在平均度或变化点间最小距离的渐近行为方面是紧致的。
• 通过在模拟数据集上的实证评估，证明该方法优于现有方法。

提出的方法

• 通过在邻接矩阵上应用自适应截断，改进经典CUSUM统计量，以降低噪声并提高对结构变化的敏感性。
• 采用两阶段算法：首先通过滑动窗口上的改进CUSUM扫描检测变化点，然后通过区间估计方法精炼定位。
• 引入缓冲长度（κ）与区间长度（Λ）以控制检测灵敏度与定位精度，要求Λ ≤ κ以保证稳定性。
• 将信号强度S(Q)定义为决定定位精度的关键量，信号强度越高，定位越精细。
• 利用浓度不等式与谱范数，界定向量估计误差，并推导出定位偏差的高概率界。
• 在算法2中应用Wild Binary Segmentation，递归检测多个变化点，理论保证以高概率恢复全部K个变化点。

实验结果

研究问题

• RQ1 是否可以在无需事先了解稀疏性或变化点间距的前提下，对任意稀疏、分段平稳的网络序列实现一致的变化点检测与定位？
• RQ2 在这样的网络序列中，实现变化点一致检测与定位所需的最小信号强度是多少？
• RQ3 该方法的性能如何随网络规模、平均度及变化点间距离变化？
• RQ4 平均度或最小间距的渐近增长条件是否为一致性的必要条件？
• RQ5 该方法是否可在不假设节点数下限或网络密度下限的前提下实现最优定位误差？

主要发现

• 当信号强度S(Q)超过与√(d / (Λ ∧ κ)) × √(ζ + log(|L|)/log(n))成比例的阈值时，该方法可确保以高概率检测到所有变化点。
• 定位误差以高概率被界为O(Λ × (C₁ + c₁Ψμ) / S(Q)) × √(d / (Λ ∧ κ))，且随着信号强度增加而改善。
• 当变化点间最小距离或平均度以任意缓慢的速度趋于无穷时，该方法无需任何先验假设即可实现一致性。
• 条件κ > g(Q) 且 S(Q) ≥ (C₁ + c₁Ψμ) × √(d / (κ) × (ζ + log(M)/log(n))) 对于多变化点检测的一致性而言，既是充分条件也是必要条件。
• 实证评估表明，该方法在模拟稀疏网络序列上的检测准确率与定位精度均优于现有方法。
• 在给定条件下，即使变化点数量未知且无界，该方法仍能以高概率实现对全部K个变化点的精确恢复。