[논문 리뷰] BigVAR: Tools for Modeling Sparse High-Dimensional Multivariate Time Series

William B. Nicholson, David S. Matteson외 1명|arXiv (Cornell University)|2017. 02. 23.

Forecasting Techniques and Applications참고 문헌 16인용 수 22

한 줄 요약

이 논문은 정규화된 VAR 모델을 사용하여 희박하고 고차원적인 다변량 시간열을 추정하기 위한 계산 프레임워크인 BigVAR를 소개한다. 이는 그룹 라소를 통해 선택된 계수에 일반화된 최소제곱법을 적용함으로써 비효율적인 최소제곱법 재적합을 피하는 두 단계의 '이완 기본 VAR-L' 추정 절차를 제안한다. 이 방법은 코피아 분해와 이동 평균 표현을 통해 정확한 인과 반응 분석을 가능하게 하며, 고차원 VAR에서의 확장 가능한 추론과 구조적 식별성에 있어 주요 기여를 한다.

ABSTRACT

The R package BigVAR allows for the simultaneous estimation of high-dimensional time series by applying structured penalties to the conventional vector autoregression (VAR) and vector autoregression with exogenous variables (VARX) frameworks. Our methods can be utilized in many forecasting applications that make use of time-dependent data such as macroeconomics, finance, and internet traffic. Our package extends solution algorithms from the machine learning and signal processing literatures to a time dependent setting: selecting the regularization parameter by sequential cross validation and provides substantial improvements in forecasting performance over conventional methods. We offer a user-friendly interface that utilizes R's s4 object class structure which makes our methodology easily accessible to practicioners. In this paper, we present an overview of our notation, the models that comprise BigVAR, and the functionality of our package with a detailed example using publicly available macroeconomic data. In addition, we present a simulation study comparing the performance of several procedures that refit the support selected by a BigVAR procedure according to several variants of least squares and conclude that refitting generally degrades forecast performance.

연구 동기 및 목표

• 고차원 VAR 모델에서 변수 선택 이후 표준 최소제곱법 재적합의 비효율성을 해결하기 위해.
• 일반화된 최소제곱법을 통해 선형 제약 조건을 통합함으로써 희박하고 고차원적인 VAR의 추정 효율성을 향상시키기 위해.
• 코피아 분해를 통한 적절한 식별을 통해 고차원 VAR에서 신뢰할 수 있는 인과 반응 분석을 가능하게 하기 위해.
• 대규모 다변량 시간열에서 지연 순서 선택과 계수 추정을 위한 계산적으로 효율적인 프레임워크를 개발하기 위해.
• 이론적으로 제약된 추정에 기반한 구조적 정규화(예: 그룹 라소)의 확장 가능한 구현을 제공하기 위해.

제안 방법

• 두 단계 추정 절차를 사용: 첫째, VAR(p) 모델에서 그룹 라소를 적용하여 비영계수를 선택하여 희박한 계수 행렬 $\hat{\Phi}$를 도출한다.
• 선택된 계수를 선형 제약 조건으로 표현: $\text{vec}(\hat{\Phi}) = R\hat{\phi}$, 여기서 $R$은 질량 $r$인 선택 행렬이다.
• 제약된 모델에 일반화된 최소제곱법(GLS)을 적용하여 점근적 효율성을 향상시키며, 비효율적인 OLS 재적합을 피한다.
• 처리 가능한 표현을 위해 VAR(p)를 VAR(1) 형태로 변환: $Y_t = \nu + A Y_{t-1} + U_t$, 정적(stationarity)을 가정한다.
• 선택 행렬 $J$를 앞서 곱하여 전처리함으로써 이동 평균(MA) 표현 $Y_t = \mu + \sum_{i=0}^\infty \Gamma_i U_{t-i}$를 유도하여 인과 반응 계산을 가능하게 한다.
• 오차 공분산 행렬에 대해 코피아 분해 $\Sigma_u = CC^\top$를 수행하여 구조적 충격을 식별하고, $w_t = C^{-1}U_t$를 통해 충격을 변환하여 인과 반응 함수 $\Theta_i = \Gamma_i C$를 도출한다.

실험 결과

연구 질문

• RQ1 그룹 라소 선택과 GLS 재적합을 조합한 두 단계 추정 절차가 표준 OLS 재적합에 비해 고차원 VAR 모델에서 추정 효율성을 향상시킬 수 있는가?
• RQ2 비대칭 오차 공분산을 가진 고차원, 희박한 VAR 모델에서 인과 반응 함수를 신뢰성 있게 계산할 수 있는가?
• RQ3 선형 제약 조건이 VAR 계수에 도입될 때 제약된 추정(예: GLS)이 점근적 효율성을 향상시키는 데서 수행하는 역할은 무엇인가?
• RQ4 통계적 효율성과 해석 가능성은 유지하면서 고차원 VAR 추정의 계산 부담을 어떻게 줄일 수 있는가?
• RQ5 코피아 분해를 통한 적절한 식별이 희박한 VAR에서 인과 반응 함수의 타당성과 해석 가능성에 미치는 영향은 무엇인가?

주요 결과

• 제안된 '이완 기본 VAR-L' 절차는 그룹 라소 선택 이후 OLS 재적합을 GLS로 대체함으로써 제약 조건 하에서 이론적으로 우월한 GLS의 특성을 활용하여 추정 효율성을 향상시킨다.
• 계수 추정 과정에서 직접적인 행렬 역행렬 계산을 피하기 위해 삼각 해법을 사용함으로써 계산 확장성 향상을 달성한다.
• MA 표현과 코피아 분해를 통해 인과 반응 함수가 안정적으로 계산되며, 상관된 오차가 존재하는 상황에서도 구조적 식별성이 보장된다.
• 알고리즘 LABEL:algIC에 기반한 효율적인 지연 순서 선택이 가능하여 고차원 환경에서의 실용적 활용을 지원한다.
• 두 번째 단계에서 일반화된 최소제곱법을 사용함으로써 일부 계수가 0으로 제약된 경우에도 점근적 효율성이 보장되며, 유한 표본에서 표준 OLS를 능가한다.