[論文レビュー] An Efficient ADMM Algorithm for Structural Break Detection in Multivariate Time Series

Alex Tank, Emily B. Fox+1 more|arXiv (Cornell University)|Nov 22, 2017

Blind Source Separation Techniques参考文献 6被引用数 3

ひとこと要約

本稿では、群融合ラasso正則化を用いた凸最適化問題に定式化することで、多次元時系列における構造的変化の検出のための効率的なADMMアルゴリズムを提案する。問題の再パrameter化とカルマン平滑化を活用することで、次元あたり線形時間でグローバルな部分問題を解くことができ、ベクトル自己回帰モデルにおける変化点の正確かつスケーラブルな検出が理論的保証と計算効率を伴って可能になる。

ABSTRACT

We present an efficient alternating direction method of multipliers (ADMM) algorithm for segmenting a multivariate non-stationary time series with structural breaks into stationary regions. We draw from recent work where the series is assumed to follow a vector autoregressive model within segments and a convex estimation procedure may be formulated using group fused lasso penalties. Our ADMM approach first splits the convex problem into a global quadratic program and a simple group lasso proximal update. We show that the global problem may be parallelized over rows of the time dependent transition matrices and furthermore that each subproblem may be rewritten in a form identical to the log-likelihood of a Gaussian state space model. Consequently, we develop a Kalman smoothing algorithm to solve the global update in time linear in the length of the series.

研究の動機と目的

• 非定常多次元時系列における構造的変化の正確かつスケーラブルな検出のためのアルゴリズムを開発すること。
• 最適性の保証がない近似ソルバー（例：群最小角度回帰）の限界を克服すること。
• 時系列構造を活用して並列化を可能とし、カルマン平滑化により線形時間計算を実現すること。
• 群融合ラasso正則化を用いて、同時に変化点と自己回帰パラメータを推定する凸最適化フレームワークを提供すること。
• 中程度から高次元の多次元過程に対しても、計算効率とスケーラビリティを確保すること。

提案手法

• 構造的変化検出問題を、時変VARパラメータに群融合ラasso正則化を施した凸最適化問題に再定式化する。
• 最小二乗項と群ラasso項を分離するために変数変換を導入し、ADMM分解を可能にする。
• ADMMを適用して、グローバルな二次部分問題（カルマン平滑化で解く）と、プロキシマル群ラasso更新に問題を分割する。
• グローバル部分問題をガウス型状態空間モデルに書き換えることで、Rauch-Tung-Streibel平滑化を効率的に適用可能にする。
• 各次元あたり線形時間で前方フィルタリングと後方平滑化を実行し、各ステップで $pK \times pK$ の行列逆行列を計算する。
• W変数を群ソフトしきい値処理により更新することで、連続するパラメータ行列の差にスパarsityを確保する。

実験結果

リサーチクエスチョン

• RQ1 構造的変化検出のための正確な最適化アルゴリズムを開発できるか。そのアルゴリズムはグローバル最適解への収束を保証するか？
• RQ2 グローバル部分問題の計算複雑性を低下させつつ、統計的精度を維持できるか？
• RQ3 時系列構造をどの程度活用して、凸最適化問題の解法を並列化・高速化できるか？
• RQ4 カルマン平滑化を、時系列セグメンテーションにおける群融合ラasso問題のADMMにおけるグローバル更新に効果的に適応できるか？
• RQ5 提案手法（ADMMベース）は、群最小角度回帰のような近似ソルバーと比較して、精度と効率の面で優れているか？

主な発見

• 提案されたADMMアルゴリズムは、系列長 $N$ に対して線形時間でグローバル部分問題を解くことができ、計算効率が高まる。
• カルマン平滑化アプローチにより、ガウス型状態空間モデルに写像することで、グローバル二次部分問題の正確な解法が可能になる。
• 群最小角度回帰のような近似ソルバーとは異なり、理論的収束保証を伴う正確な最適化を達成する。
• $p=10$, $N=300$, および $t=100$ と $t=200$ に2つの真の変化点を想定したシミュレーションにおいて、$ \lambda=5$ の条件下でアルゴリズムは正しく変化点を検出できた。
• 中程度の $p$ に対してはスケーリングが良好であり、各再帰的平滑化ステップで時間点あたり $O(pK)$ の行列演算で済む。
• 後方平滑化フェーズでは $pK \times pK$ の行列逆行列を計算するが、これは中程度の次元では可能であるが、高次元設定ではボトルネックとなる。