[논문 리뷰] Large Vector Auto Regressions

Song Song, Peter J. Bickel|arXiv (Cornell University)|2011. 06. 20.

Face and Expression Recognition인용 수 57

한 줄 요약

이 논문은 시간적 의존성과 고차원적 공간적 구조를 고려하면서도 관련 변수와 지연항을 동시에 선택하는 새로운 대규모 벡터 자기회귀(LARGE-VAR) 프레임워크를 제안한다. 그룹 라소 펜alties와 조정을 위한 데이터 기반 윈도우 스킴을 통합함으로써, 예측에서 오라클 효율성을 달성하며, 강한 순차적 및 횡단적 의존성이 있는 고차원, 저표본 크기 조건에서 기존의 라소와 기존 VAR 추정기보다 뛰어난 성능을 보인다.

ABSTRACT

One popular approach for nonstructural economic and financial forecasting is to include a large number of economic and financial variables, which has been shown to lead to significant improvements for forecasting, for example, by the dynamic factor models. A challenging issue is to determine which variables and (their) lags are relevant, especially when there is a mixture of serial correlation (temporal dynamics), high dimensional (spatial) dependence structure and moderate sample size (relative to dimensionality and lags). To this end, an extit{integrated} solution that addresses these three challenges simultaneously is appealing. We study the large vector auto regressions here with three types of estimates. We treat each variable's own lags different from other variables' lags, distinguish various lags over time, and is able to select the variables and lags simultaneously. We first show the consequences of using Lasso type estimate directly for time series without considering the temporal dependence. In contrast, our proposed method can still produce an estimate as efficient as an extit{oracle} under such scenarios. The tuning parameters are chosen via a data driven "rolling scheme" method to optimize the forecasting performance. A macroeconomic and financial forecasting problem is considered to illustrate its superiority over existing estimators.

연구 동기 및 목표

• 강한 시간적 의존성과 중간 크기의 표본 크기를 가진 고차원 벡터 자기회귀에서 관련 변수와 지연항을 선택하는 문제를 다루기 위해.
• 시간 시리즈에서 표준 라소의 한계를 극복하기 위해 시간적 동적 구조와 다변수 간 의존성을 명시적으로 모델링하기 위해.
• 고차원 VAR 설정에서 예측 성능을 최적화하기 위한 데이터 기반 조정 방법—'윈도우 스킴'—을 개발하기 위해.
• 거시경제학 및 금융 응용 분야에서 기존 추정기들과 비교해 뛰어난 예측 정확도를 보여주기 위해.

제안 방법

• 자신의 지연항과 다른 변수들의 지연항을 구분하는 대규모 벡터 자기회귀 모델을 제안하여 별도의 정규화를 가능하게 한다.
• 각 변수-지연항 조합을 그룹으로 간주하여, 그룹 라소 펜alties를 적용해 관련 변수와 그 지연항을 동시에 선택한다.
• 예측 성능을 최적화하기 위해 데이터 기반 윈도우 스킴을 사용해 조정 파rameter를 선택한다.
• 두 단계 추정 전략을 사용한다: 첫 번째로 그룹 라소를 통해 변수 및 지연항 선택; 두 번째로 선택된 모델에서 추정 수행.
• 약한 의존성과 고차원 스케일링 조건 하에서 점근적 성질을 도출하며, 일致성과 오라클 효율성을 보여준다.
• KKT 조건과 마링갈 중심극한정리에 기반한 이론적 보장을 제공하여, 희박성과 점근적 정규성을 입증한다.

실험 결과

연구 질문

• RQ1 정규화 방법이 고차원 VAR 모델에서 시간적 의존성을 고려하면서도 관련 변수와 지연항을 동시에 선택할 수 있는가?
• RQ2 순차적 상관관계와 고차원 횡단적 의존성이 존재하는 상황에서도 제안된 방법이 예측에서 오라클 효율성을 달성하는가?
• RQ3 조정 파rameter 선택을 위한 데이터 기반 윈도우 스킴이 고정 또는 교차검증 방법과 비교해 예측 성능에서 어떻게 다른가?
• RQ4 고차원 스케일링 조건 하에서 변수 선택 일치성과 점근적 정규성 측면에서 추정기의 이론적 성질은 무엇인가?
• RQ5 실제 거시경제학 및 금융 예측 응용 분야에서 표준 라소와 기존 VAR 추정기보다 성능이 뛰어나게 되는가?

주요 결과

• 제안된 방법은 표준 라소가 시간적 의존성을 고려하지 못해 실패할 수 있는 상황에서도 추정 및 예측에서 오라클 효율성을 달성한다.
• 이론적 분석 결과, 추정기는 일관성 있고 점근적으로 정규분포를 따르며, 올바른 변수 및 지연항 선택 확률이 1로 수렴함을 보였다.
• 조정 파rameter 선택을 위한 윈도우 스킴은 고정 또는 교차검증 방법 대비 외부 표본 예측 정확도를 크게 향상시켰다.
• 희박성이 달성됨: 잘못된 변수와 지연항을 올바르게 배제할 확률은 KKT 조건을 통해 증명된 바, 1로 수렴한다.
• 실제 예측 과제에서 관련 거시경제학 및 금융 변수와 그 지연항을 성공적으로 식별하였으며, 기존의 VAR 및 라소 기반 모델보다 개선된 성능을 보였다.
• 실증 결과는 고차원 및 저표본 크기 조건에서 거시경제학 및 금융 데이터셋에서 뛰어난 예측 성능을 확인하였다.