[논문 리뷰] Sparse Principal Component Analysis for High Dimensional Vector Autoregressive Models

Zhaoran Wang, Fang Han외 1명|arXiv (Cornell University)|2013. 06. 30.

Blind Source Separation Techniques참고 문헌 27인용 수 3

한 줄 요약

이 논문은 차원 d와 표본 크기 T가 모두 증가하는 이중 점점적 프레임워크 하에서 고차원 벡터 자기회귀(VAR) 시간 시리즈에 대한 희소 주성분 분석(SPCA) 방법을 제안한다. 이는 VAR 전이 행렬을 불필요한 매개변수로 간주하고, 종속적인 시간 시리즈 데이터에 직접 SPCA를 적용하며, 전이 행렬의 스펙트럼 노름 ∥A∥₂가 추정 속도를 결정짓는 데 핵심적인 역할을 함을 보여준다. 주요 기여는 시간적 의존성 하에서 주성분 벡터와 주성분 부분공간 추정에 대한 비점점적 수렴 속도를 확립한 것으로, 최적의 파rametric 수렴 속도를 달성할 수 있는 조건을 규명하였다.

ABSTRACT

We study sparse principal component analysis for high dimensional vector autoregressive time series under a doubly asymptotic framework, which allows the dimension $d$ to scale with the series length $T$. We treat the transition matrix of time series as a nuisance parameter and directly apply sparse principal component analysis on multivariate time series as if the data are independent. We provide explicit non-asymptotic rates of convergence for leading eigenvector estimation and extend this result to principal subspace estimation. Our analysis illustrates that the spectral norm of the transition matrix plays an essential role in determining the final rates. We also characterize sufficient conditions under which sparse principal component analysis attains the optimal parametric rate. Our theoretical results are backed up by thorough numerical studies.

연구 동기 및 목표

• 주성분 분석에서 관측치 간 의존성이 존재하는 고차원 시간 시리즈 문제를 다루기 위해.
• 시간에 따라 상관관계가 존재하는 약한(stationary) 다변량 자기회귀 과정에 대해 희소 주성분 분석을 확장하기 위해.
• 고차원 설정에서 전이 행렬의 스펙트럼 노름이 추정 정확도에 미치는 영향을 분석하기 위해.
• 시간적 의존성이 존재하는 조건 하에서 주성분 벡터 및 부분공간 추정에 대한 비점점적 수렴 속도를 확립하기 위해.
• 시간적 상관관계가 존재하더라도 희소 주성분 분석이 최적의 파rametric 수렴 속도를 달성할 수 있는 조건을 규명하기 위해.

제안 방법

• VAR 전이 행렬 A를 불필요한 매개변수로 간주하고, 다변량 시간 시리즈 x1,…,xT에 대해 i.i.d. 데이터인 것처럼 직접 SPCA를 적용한다.
• 차원 d와 표본 크기 T가 모두 증가하는 이중 점점적 프레임워크를 사용하여 d ≫ T 인 경우를 허용한다.
• 비점점적 분석을 통해 주성분 벡터 및 주성분 부분공간 추정의 수렴 속도를 유도한다.
• 전이 행렬의 스펙트럼 노름 ∥A∥₂가 최종 수렴 속도를 결정하는 데 미치는 역할을 분석한다.
• 고차원 시간 시리즈의 의존성 처리를 위해 Loh와 Wainwright(2012)의 한 보조정리를 응용한다.
• 일관된 추정을 가능하게 하기 위해 주성분 벡터의 희소성(최대 s개의 비영성 요소)을 가정한다.

실험 결과

연구 질문

• RQ1 고차원 시간 시리즈에서의 시간적 의존성이 희소 주성분 분석의 성능에 어떤 영향을 미치는가?
• RQ2 VAR 전이 행렬의 스펙트럼 노름 ∥A∥₂가 주성분 벡터 추정의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 희소 주성분 분석이 고차원이고 의존적인 시간 시리즈에서 최적의 파rametric 수렴 속도를 달성할 수 있는 조건은 무엇인가?
• RQ4 i.i.d. 데이터를 대상으로 설계된 표준 SPCA 방법이 이론적 보장을 갖는 채로 의존적인 시간 시리즈에 직접 적용될 수 있는가?
• RQ5 표본 크기 T, 차원 d, 희소성 수준 s 간의 상호작용이 VAR 모델에서 추정 정확도에 어떤 영향을 미치는가?

주요 결과

• 전이 행렬의 스펙트럼 노름 ∥A∥₂는 주성분 벡터 추정기의 수렴 속도를 결정하는 데 핵심적인 역할을 한다.
• ∥A∥₂가 1에서 멀리 떨어져 있을 경우, 제안된 SPCA 방법은 주성분 벡터 추정에 대해 비점점적 수렴 속도 (s log d / T)^{1/2} 의 주기수를 달성한다.
• m > 1 인 주성분 부분공간 추정의 경우, 유사한 조건 하에서 수렴 속도는 (m s log d / T)^{1/2} 의 주기수를 가진다.
• 스펙트럼 노름 ∥A∥₂가 충분히 작고, 희소성이 존재할 경우, 이 방법은 최소한의 최적 파rametric 수렴 속도를 달성한다.
• 수치 실험 결과, 주성분 벡터 추정 오차는 T 증가와 함께 감소하고, ∥A∥₂ 감소와 함께 감소함을 확인하였으며, ∥A∥₂=0.6일 때 T=16에서 오차 약 1.23에서 T=500일 때 약 0.13으로 감소함을 보였다.
• d가 T보다 훨씬 클 경우에도 방법이 효과적임을 시뮬레이션을 통해 입증하였으며, d=256, T=500일 때 ∥A∥₂=0.6인 조건에서 m=4 부분공간 추정 오차는 0.31이었다.