[论文解读] An Efficient ADMM Algorithm for Structural Break Detection in Multivariate Time Series

Alex Tank, Emily B. Fox+1 more|arXiv (Cornell University)|Nov 22, 2017

Blind Source Separation Techniques参考文献 6被引用 3

一句话总结

该论文提出了一种高效的ADMM算法，通过将具有组融合lasso惩罚的凸优化问题建模，用于检测多变量时间序列中的结构突变。通过重新参数化问题并利用卡尔曼平滑，该方法在每个维度上以线性时间求解全局子问题，实现了向量自回归模型中变化点的精确、可扩展检测，具有理论保证和计算效率。

ABSTRACT

We present an efficient alternating direction method of multipliers (ADMM) algorithm for segmenting a multivariate non-stationary time series with structural breaks into stationary regions. We draw from recent work where the series is assumed to follow a vector autoregressive model within segments and a convex estimation procedure may be formulated using group fused lasso penalties. Our ADMM approach first splits the convex problem into a global quadratic program and a simple group lasso proximal update. We show that the global problem may be parallelized over rows of the time dependent transition matrices and furthermore that each subproblem may be rewritten in a form identical to the log-likelihood of a Gaussian state space model. Consequently, we develop a Kalman smoothing algorithm to solve the global update in time linear in the length of the series.

研究动机与目标

• 开发一种精确且可扩展的算法，用于检测非平稳多变量时间序列中的结构突变。
• 克服组最小角度回归等近似求解器缺乏最优性保证的局限性。
• 利用时间序列结构实现并行化，并通过卡尔曼平滑实现线性时间计算。
• 提供一个凸优化框架，通过组融合lasso惩罚联合估计断点和自回归参数。
• 确保中等至高维多变量过程的计算效率和可扩展性。

提出的方法

• 将结构突变检测问题重新表述为带有时间变VAR参数组融合lasso惩罚的凸优化问题。
• 引入变量变换以解耦最小二乘项与组lasso项，从而实现ADMM分解。
• 应用ADMM将问题分解为一个全局二次子问题（通过卡尔曼平滑求解）和一个近端组lasso更新。
• 将全局子问题重写为高斯状态空间模型，从而可使用Rauch-Tung-Streibel平滑器高效求解。
• 每个时间点的前向滤波和后向平滑步骤均以每个维度线性时间完成，每步涉及大小为$pK \times pK$的矩阵求逆。
• 通过组软阈值化操作更新$W$变量，确保连续参数矩阵差值的稀疏性。

实验结果

研究问题

• RQ1 能否为多变量时间序列中的结构突变检测开发一种精确优化算法，以保证收敛到全局最优？
• RQ2 如何在保持统计精度的前提下降低求解全局子问题的计算复杂度？
• RQ3 在多大程度上可以利用时间序列结构来并行化并加速凸优化问题的求解？
• RQ4 卡尔曼平滑能否有效适配用于ADMM中组融合lasso问题的全局更新，以解决时间序列分割问题？
• RQ5 与组最小角度回归等近似求解器相比，所提出的基于ADMM的方法在准确性和效率方面表现如何？

主要发现

• 所提出的ADMM算法以与序列长度$N$线性的时间求解全局子问题，实现了计算效率。
• 卡尔曼平滑方法通过将问题映射为高斯状态空间模型，实现了全局二次子问题的精确求解。
• 该方法实现了精确优化并具有理论收敛保证，而不同于组最小角度回归等近似求解器。
• 在$p=10$，$N=300$，且在$t=100$和$t=200$处存在两个真实断点的模拟实验中，当$\lambda=5$时，该算法正确检测到了断点。
• 该算法在中等$ p $下具有良好的可扩展性，每个递归平滑步骤每时间点仅需$O(pK)$次矩阵运算。
• 后向平滑阶段涉及$pK \times pK$的矩阵求逆，在中等维度下是可行的，但在高维设置下成为性能瓶颈。