[논문 리뷰] An Efficient ADMM Algorithm for Structural Break Detection in Multivariate Time Series

Alex Tank, Emily B. Fox외 1명|arXiv (Cornell University)|2017. 11. 22.

Blind Source Separation Techniques참고 문헌 6인용 수 3

한 줄 요약

이 논문은 다변량 시간열에서의 구조적 변화를 탐지하기 위해 군집 융합 라소 페널티를 갖는 볼록 최적화 문제로 공식화함으로써 효율적인 ADMM 알고리즘을 제안한다. 문제를 재매개변수화하고 칼만 스무딩을 활용함으로써, 차원당 선형 시간 내에 전역 하위문제를 해결할 수 있으며, 이는 이론적 보장과 계산 효율성을 바탕으로 벡터 자기회귀 모델에서 정확하고 확장 가능한 변화점 탐지가 가능하게 한다.

ABSTRACT

We present an efficient alternating direction method of multipliers (ADMM) algorithm for segmenting a multivariate non-stationary time series with structural breaks into stationary regions. We draw from recent work where the series is assumed to follow a vector autoregressive model within segments and a convex estimation procedure may be formulated using group fused lasso penalties. Our ADMM approach first splits the convex problem into a global quadratic program and a simple group lasso proximal update. We show that the global problem may be parallelized over rows of the time dependent transition matrices and furthermore that each subproblem may be rewritten in a form identical to the log-likelihood of a Gaussian state space model. Consequently, we develop a Kalman smoothing algorithm to solve the global update in time linear in the length of the series.

연구 동기 및 목표

• 비정상적인 다변량 시간열에서의 구조적 변화 탐지에 대해 정확하고 확장 가능한 알고리즘을 개발하는 것.
• 최적성 보장을 갖지 못하는 근사 해법(예: 군집 최소각도 회귀)의 한계를 극복하는 것.
• 시간열의 구조를 활용하여 병렬 처리와 칼만 스무딩을 통한 선형 시간 계산을 가능하게 하는 것.
• 군집 융합 라소 페널티를 통해 변화점과 자기회귀 계수를 동시에 추정할 수 있는 볼록 최적화 프레임워크를 제공하는 것.
• 중간에서 고차원의 다변량 과정에 대해 계산 효율성과 확장성을 확보하는 것.

제안 방법

• 시간 변화하는 VAR 계수에 군집 융합 라소 페널티를 부여한 볼록 최적화 문제로 구조적 변화 탐지 문제를 재공식화한다.
• 최소제곱 항과 군집 라소 항을 분리하기 위해 변수 교체를 도입함으로써 ADMM 분해가 가능하게 한다.
• ADMM를 적용하여 문제를 전역 2차 하위문제(칼만 스무딩을 통해 해결)와 프록시 군집 라소 업데이트로 분할한다.
• 전역 하위문제를 가우시안 상태공간 모델로 재기록함으로써 라우-퉁-스트라이벨 스무딩기를 효율적으로 적용할 수 있도록 한다.
• 각 단계에서 $pK \times pK$ 크기의 행렬 역행렬을 포함하며, 차원당 선형 시간 내에 정방향 필터링과 역방향 스무딩 단계를 수행한다.
• 연속된 매개변수 행렬 간의 차이에 대한 희박성을 보장하기 위해 $W$ 변수를 군집 소프트 임계처리 연산으로 업데이트한다.

실험 결과

연구 질문

• RQ1 구조적 변화 탐지에 대해 전역 최적해로 수렴하는 보장이 있는 정확한 최적화 알고리즘을 개발할 수 있는가?
• RQ2 전역 하위문제의 계산 복잡도를 통계적 정확도를 유지하면서 어떻게 줄일 수 있는가?
• RQ3 시간열의 구조를 얼마나 효과적으로 활용하여 볼록 최적화 문제의 해를 병렬화하고 가속화할 수 있는가?
• RQ4 칼만 스무딩이 시간열 분할 문제의 군집 융합 라소 문제에 대해 ADMM의 전역 업데이트를 효과적으로 해결하는 데 적합하게 적용될 수 있는가?
• RQ5 제안된 ADMM 기반 방법은 군집 최소각도 회귀와 같은 근사 해법보다 정확도와 효율성 면에서 어떻게 비교되는가?

주요 결과

• 제안된 ADMM 알고리즘은 시리즈 길이 $N$ 에 대해 선형 시간 내에 전역 하위문제를 해결하여 계산 효율성을 확보한다.
• 칼만 스무딩 접근법은 전역 2차 하위문제를 정확히 해결할 수 있도록 가우시안 상태공간 모델로 매핑함으로써 가능해진다.
• 이 방법은 군집 최소각도 회귀와 같은 근사 해법과 달리 이론적 수렴 보장을 갖는 정확한 최적화를 달성한다.
• 시뮬레이션 결과, $p=10$, $N=300$, 진짜 변화점이 $t=100$ 과 $t=200$ 에 위치할 때 $\lambda=5$ 일 경우 알고리즘이 변화점을 정확히 탐지하였다.
• 중간 차원의 $p$ 에 대해 잘 스케일링되며, 각 재귀적 스무딩 단계에서 시간당 $O(pK)$ 행렬 연산만 필요로 한다.
• 역방향 스무딩 단계는 $pK \times pK$ 행렬 역행렬을 포함하며, 중간 차원에서는 가능하지만 고차원 설정에서는 성능 저하 요소가 된다.