[论文解读] A Scalable Algorithm for Gaussian Graphical Models with Change-Points

Yves F. Atchadé, Leland Bybee|arXiv (Cornell University)|Jul 13, 2017

Statistical Methods and Inference参考文献 25被引用 6

一句话总结

该论文提出了一种可扩展的近似Majorize-Minimize（MM）算法，用于拟合具有变化点的高维高斯图形模型，通过图形模型参数的块更新和变化点的线搜索实现。该方法将计算成本从O(Tp³)降低至O(Tp² + p³)，在满足正则性条件时，以高概率收敛至真实变化点的统计误差范围内。

ABSTRACT

Graphical models with change-points are computationally challenging to fit, particularly in cases where the number of observation points and the number of nodes in the graph are large. Focusing on Gaussian graphical models, we introduce an approximate majorize-minimize (MM) algorithm that can be useful for computing change-points in large graphical models. The proposed algorithm is an order of magnitude faster than a brute force search. Under some regularity conditions on the data generating process, we show that with high probability, the algorithm converges to a value that is within statistical error of the true change-point. A fast implementation of the algorithm using Markov Chain Monte Carlo is also introduced. The performances of the proposed algorithms are evaluated on synthetic data sets and the algorithm is also used to analyze structural changes in the S&P 500 over the period 2000-2016.

研究动机与目标

• 为解决在时间上存在突变结构变化的高维高斯图形模型拟合中的计算挑战。
• 开发一种可扩展的算法，高效估计大规模网络中的变化点，而无需依赖CUSUM或预设统计量。
• 在数据生成过程的正则性条件下，确保收敛至真实变化点附近统计误差范围内的解。
• 通过二元分割将方法扩展至多变化点，以适用于现实世界数据的实际应用。
• 提供一种快速、可实现的算法，利用马氏链蒙特卡洛（MCMC）方法适用于高维设置。

提出的方法

• 该算法采用近似Majorize-Minimize（MM）框架，迭代优化图形模型参数和变化点位置。
• 在两个分段的精度矩阵上交替进行近端梯度更新，并对潜在变化点位置进行线搜索。
• 通过引入弹性网络惩罚项，使变化点前后图形模型的稀疏性得以实现。
• 通过避免全网格搜索，将计算复杂度降低为每次迭代O(Tp² + p³)，而非O(Tp³)。
• 引入一种快速的MCMC实现，以进一步提升高维设置下的可扩展性。
• 应用二元分割将单变化点算法扩展至多变化点。

实验结果

研究问题

• RQ1 能否开发一种可扩展的算法，用于估计高维高斯图形模型中的变化点？
• RQ2 与暴力网格搜索相比，所提出的MM算法在计算速度和准确性方面表现如何？
• RQ3 在何种正则性条件下，该算法能以高概率收敛至真实变化点附近的解？
• RQ4 估计变化点相对于真实变化点的统计误差界是多少？
• RQ5 该算法在检测如S&P 500等现实世界金融网络中的结构变化方面效果如何？

主要发现

• 与暴力网格搜索相比，该算法在高维高斯图形模型变化点检测中速度提升了约一个数量级。
• 在正则性条件下，该算法以高概率收敛至真实变化点附近统计误差范围内的解。
• 该算法每次迭代的计算成本为O(Tp² + p³)，显著低于全网格搜索的O(Tp³)成本。
• 理论分析表明，在适当的数据条件下，变化点估计值超过真实值δ的概率随δ呈指数衰减。
• 在合成数据上的实证评估证实了该算法在恢复真实变化点方面的稳定性和准确性。
• 在S&P 500（2000–2016）上的应用揭示了市场网络依赖关系中的可检测结构变化，展示了其实际应用价值。