[논문 리뷰] On Multivariate Singular Spectrum Analysis and its Variants

Anish K. Agarwal, Abdullah Alomar외 1명|arXiv (Cornell University)|2020. 06. 24.

Statistical and numerical algorithms인용 수 4

한 줄 요약

이 논문은 결측 데이터와 노이즈가 존재하는 상황에서 시공간 요인 모형 하에 다변량 특이스펙트럼분석(mSSA)의 새로운 변종을 제안한다. 이 방법은 저질서 헨켈 행렬 구조와 특이값 임계처리를 활용하여, 보간 및 외삽 예측에서 평균제곱오차가 $1/\sqrt{\min(N,T)T}$ 스케일링을 보이게 한다. 기존의 고전적 SSA($1/\sqrt{T}$) 및 행렬 추정($1/\min(N,T)$) 방법보다 시간적 및 시리즈 간 상관관계를 활용하여 성능을 향상시킨다.

ABSTRACT

We introduce and analyze a variant of multivariate singular spectrum analysis (mSSA), a popular time series method to impute and forecast a multivariate time series. Under a spatio-temporal factor model we introduce, given $N$ time series and $T$ observations per time series, we establish prediction mean-squared-error for both imputation and out-of-sample forecasting effectively scale as $1 / \sqrt{\min(N, T )T}$. This is an improvement over: (i) $1 /\sqrt{T}$ error scaling of SSA, the restriction of mSSA to a univariate time series; (ii) $1/\min(N, T)$ error scaling for matrix estimation methods which do not exploit temporal structure in the data. The spatio-temporal model we introduce includes any finite sum and products of: harmonics, polynomials, differentiable periodic functions, and Holder continuous functions. Our out-of-sample forecasting result could be of independent interest for online learning under a spatio-temporal factor model. Empirically, on benchmark datasets, our variant of mSSA performs competitively with state-of-the-art neural-network time series methods (e.g. DeepAR, LSTM) and significantly outperforms classical methods such as vector autoregression (VAR). Finally, we propose extensions of mSSA: (i) a variant to estimate time-varying variance of a time series; (ii) a tensor variant which has better sample complexity for certain regimes of $N$ and $T$.

연구 동기 및 목표

• 결측 데이터와 노이즈가 존재하는 상황에서 시공간 요인 모형 하에 다변량 특이스펙트럼분석(mSSA)의 엄밀한 유한표본 분석을 제공한다.
• 시간적 및 다변수 간 상관관계를 활용하여 기존 방법보다 향상된 이론적 오차 경계를 수립한다.
• 조화함수, 다항함수, 주기함수, 헬더 연속 함수를 포괄하는 시공간 요인 모형을 제안한다.
• 시간에 따라 변화하는 분산 추정 및 더 낮은 표본 복잡도를 가지는 텐서 기반 mSSA를 위한 알고리즘 확장을 개발한다.

제안 방법

• 시간 시리즈 데이터에서 헨켈 행렬을 구성하고 특이값 임계처리(SVT)를 적용하여 저질서 구조를 복원하는 mSSA의 변종을 제안한다.
• 각 시간 시리즈가 잠재 요소의 곱의 합으로 표현되는 시공간 요인 모형을 사용하여, 저질서 텐서로 표현 가능하게 한다.
• 시간 시리즈를 행렬 추정에 적합한 구조적 행렬 형태로 변환하기 위해 Page에서 헨켈으로의 변환을 활용한다.
• 특이값 임계처리(HSTVT)를 포함한 고차원 행렬 추정 기법을 적용하여 결측 또는 노이즈가 있는 관측치를 복원한다.
• 다변량 시간 시리즈를 저질서 텐서로 모델링하는 mSSA의 텐서 변종(tSSA)을 도입하여, 특정 조건에서 표본 복잡도를 향상시킨다.
• 핵심 mSSA 프레임워크를 확장하여 조건부 이방분산성(conditional heteroscedasticity)을 모델링함으로써 시간에 따라 변화하는 분산을 추정하는 방법을 개발한다.

실험 결과

연구 질문

• RQ1 일반적인 시공간 요인 모형 하에 결측 데이터와 노이즈가 존재하는 조건에서 mSSA의 이론적 유한표본 분석을 수립할 수 있는가?
• RQ2 제안된 mSSA 변종이 고전적 SSA 및 행렬 추정 방법보다 더 나은 오차 스케일링을 달성하는가?
• RQ3 제안된 mSSA 변종의 성능은 DeepAR 및 LSTM과 같은 딥러닝 기반 모델과 비교해 볼 때 보간 및 예측 과제에서 어떻게 되는가?
• RQ4 mSSA 프레임워크는 시간에 따라 변화하는 분산을 추정하는 데 확장될 수 있는가?
• RQ5 mSSA의 텐서 변종(tSSA)은 고차원 설정에서 표준 mSSA보다 더 낮은 표본 복잡도를 제공하는가?

주요 결과

• 제안된 mSSA 변종은 예측 평균제곱오차가 $1/\sqrt{\min(N,T)T}$ 스케일링을 보이며, 단변량 SSA의 $1/\sqrt{T}$ 스케일링보다 향상된다.
• N = o(T)인 경우, mSSA 변종은 오차 스케일링 $\tilde{\Theta}(1/\sqrt{NT})$를 달성하며, 이는 표준 행렬 추정 방법의 $\tilde{\Theta}(1/N)$ 스케일링보다 渐近적으로 우월하다.
• T = o(N)인 경우, mSSA 변종은 $\tilde{\Theta}(1/T)$ 오차를 기록하며, 행렬 추정 및 tSSA보다 성능이 뛰어나다.
• 실험 결과는 이 방법이 DeepAR 및 LSTM과 같은 최첨단 신경망 모델과 비교해도 경쟁력을 갖는다.
• 특정 조건에서, 특히 N이 T에 비해 작을 경우, mSSA의 텐서 변종(tSSA)는 표준 mSSA보다 더 낮은 표본 복잡도를 달성한다.
• 시간에 따라 변화하는 분산 추정 방법은 시간 시리즈의 비정상적 조건부 이방분산성을 성공적으로 포착하여, mSSA의 적용 가능성을 확장한다.