[논문 리뷰] A Direct Estimation of High Dimensional Stationary Vector Autoregressions

Fang Han, Huanran Lu외 1명|arXiv (Cornell University)|2013. 07. 01.

Statistical and numerical algorithms참고 문헌 43인용 수 93

한 줄 요약

이 논문은 시간적 의존성을 활용하여 고차원 정적 벡터 자기회귀(VAR) 모형에 대한 새로운 직접 추정 방법을 제안한다. 추정을 선형 프로그래밍으로 공식화함으로써 효율적인 병렬 계산을 가능하게 한다. 주요 기여는 추정 정확도를 전이 행렬의 스펙트럼 노름과 연결하는 이론적 일致성 경계를 제시한 것으로, 실험적 검증을 통해 라소 유형 추정기보다 파rameter 추정 및 예측 성능에서 뛰어난 성능을 보였다.

ABSTRACT

The vector autoregressive (VAR) model is a powerful tool in modeling complex time series and has been exploited in many fields. However, fitting high dimensional VAR model poses some unique challenges: On one hand, the dimensionality, caused by modeling a large number of time series and higher order autoregressive processes, is usually much higher than the time series length; On the other hand, the temporal dependence structure in the VAR model gives rise to extra theoretical challenges. In high dimensions, one popular approach is to assume the transition matrix is sparse and fit the VAR model using the "least squares" method with a lasso-type penalty. In this manuscript, we propose an alternative way in estimating the VAR model. The main idea is, via exploiting the temporal dependence structure, to formulate the estimating problem into a linear program. There is instant advantage for the proposed approach over the lasso-type estimators: The estimation equation can be decomposed into multiple sub-equations and accordingly can be efficiently solved in a parallel fashion. In addition, our method brings new theoretical insights into the VAR model analysis. So far the theoretical results developed in high dimensions (e.g., Song and Bickel (2011) and Kock and Callot (2012)) mainly pose assumptions on the design matrix of the formulated regression problems. Such conditions are indirect about the transition matrices and not transparent. In contrast, our results show that the operator norm of the transition matrices plays an important role in estimation accuracy. We provide explicit rates of convergence for both estimation and prediction. In addition, we provide thorough experiments on both synthetic and real-world equity data to show that there are empirical advantages of our method over the lasso-type estimators in both parameter estimation and forecasting.

연구 동기 및 목표

• 차원 수 d와 지연 차수 p의 곱이 표본 크기 T를 초과하는 고차원 VAR 모형의 도전 과제를 해결하기 위해.
• 시간적 의존성 구조를 활용하여 병렬 처리가 가능한 계산 효율적인 추정 방법을 개발하기 위해.
• 전이 행렬의 스펙트럼 노름과 추정 정확도를 연결함으로써 추정 일치성에 대한 새로운 이론적 통찰을 확립하기 위해.
• 기존의 라소 유형 정규화 방법에 비해 고차원 환경에서 파라미터 추정 및 예측 정확도를 향상시키기 위해.

제안 방법

• 데이터의 시간적 의존성 구조를 활용하여 VAR 추정 문제를 선형 프로그래밍으로 공식화한다.
• 병렬 계산이 가능한 부분 문제로 분해되는 직접 최적화 프레임워크를 사용한다.
• 희소성과 일관성을 촉진하기 위해 최대노름 페널티를 갖는 제약 최적화 문제를 적용한다.
• 가우시안 랜덤 벡터와 행렬 노름에 대해 농도 부등식을 사용하여 이론적 경계를 도출한다.
• 차원 수 d와 표본 크기 T가 모두 증가하는 이중 점 渐진 프레임워크를 도입하며, 이때 d/T → 0이다.
• 재매개변수화와 노름 제어를 통해 선형 프로그래밍과 희소 추정 문제 간의 동치성을 확립한다.

실험 결과

연구 질문

• RQ1 직접적인 선형 프로그래밍 접근법이 고차원 정적 VAR 모형에서 일관된 추정을 달성할 수 있는가?
• RQ2 전이 행렬의 스펙트럼 노름이 고차원 환경에서 추정 정확도에 어떻게 영향을 미치는가?
• RQ3 제안된 방법이 고차원 환경에서 파라미터 추정 및 예측 모두에서 라소 유형 추정기보다 뛰어난 성능을 보이는가?
• RQ4 제안된 추정기의 추정 및 예측 일관성이 성립하는 이론적 조건은 무엇인가?
• RQ5 해당 방법은 분해 가능한 구조 덕분에 효율적으로 병렬 처리될 수 있는가?

주요 결과

• d와 T가 증가하고 d/T → 0이 되는 이중 점 渐진 프레임워크 하에서 제안된 방법이 추정 일관성을 확보한다.
• 전이 행렬 A1의 스펙트럼 노름 ‖A1‖2가 추정 정확도의 핵심 결정 요소이며, 일관성 경계는 이 노름에 의존한다.
• 고확률적으로 ∥bA1 − A1∥1 ≤ 4s(2λ0‖Σ−1‖1)1−q 를 만족하며, 여기서 s는 ℓq-노름 희소성 수준이다.
• 합성 데이터 및 주식 수익률 데이터에 대한 실험 결과, 라소 유형 추정기보다 향상된 파라미터 추정 및 예측 정확도를 보였다.
• 선형 프로그래밍의 분해 가능한 구조 덕분에 효율적인 병렬 계산이 가능하다.
• 농도 부등식을 활용하여 가우시안 벡터와 행렬 노름에 대해 이론적 경계를 유도하였으며, 표본 공분산 및 정밀도 행렬 추정 오차에 대한 고확률 제어를 확보하였다.