[논문 리뷰] High Dimensional Forecasting via Interpretable Vector Autoregression

William B. Nicholson, Ines Wilms외 2명|arXiv (Cornell University)|2014. 12. 17.

Grey System Theory Applications참고 문헌 40인용 수 38

한 줄 요약

이 논문은 고차원 벡터 자기회귀(VAR) 모델을 위한 해석 가능한 예측 방법을 제안하며, 직접적인 행렬 역행렬 계산을 피하기 위해 삼각행렬 해법을 사용하고 릿지 페널티를 통해 수치적 안정성을 향상시킨다. 이는 이론적 최소제곱법의 계산 및 수치적 과제를 해결하며, 특히 대규모 VAR 및 짧은 예측 기간에서 뛰어난 외부 검증 성능을 보이며, 요소별 및 자기-다른 HLag 방법이 다양한 거시경제 및 금융 데이터셋에서 다른 방법들을 일관되게 능가한다.

ABSTRACT

Vector autoregression (VAR) is a fundamental tool for modeling multivariate time series. However, as the number of component series is increased, the VAR model becomes overparameterized. Several authors have addressed this issue by incorporating regularized approaches, such as the lasso in VAR estimation. Traditional approaches address overparameterization by selecting a low lag order, based on the assumption of short range dependence, assuming that a universal lag order applies to all components. Such an approach constrains the relationship between the components and impedes forecast performance. The lasso-based approaches work much better in high-dimensional situations but do not incorporate the notion of lag order selection. We propose a new class of hierarchical lag structures (HLag) that embed the notion of lag selection into a convex regularizer. The key modeling tool is a group lasso with nested groups which guarantees that the sparsity pattern of lag coefficients honors the VAR's ordered structure. The HLag framework offers three structures, which allow for varying levels of flexibility. A simulation study demonstrates improved performance in forecasting and lag order selection over previous approaches, and a macroeconomic application further highlights forecasting improvements as well as HLag's convenient, interpretable output.

연구 동기 및 목표

• 대규모 VAR 모델에서 고차원 다변량 시계열 예측을 위한 수치적으로 안정적이고 해석 가능한 방법을 개발한다.
• 조건이 나쁜 행렬을 가진 고차원 설정에서 전통적인 최소제곱법의 계산 및 수치적 과제를 해결한다.
• 기본 기준과 비교하여 다양한 거시경제 및 금융 데이터셋에서 제안된 방법의 예측 성능을 평가한다.
• 롤링 윈도우 예측에서 지연 선택 및 계수 추정의 안정성과 강건성을 평가한다.
• 환율 및 주가와 같이 예측이 어려운 시리즈에 대해 다변량 방법이 단변량 모델보다 의미 있는 성능 향상을 제공하는지 확인한다.

제안 방법

• 설계 행렬에 릿지 페널티를 추가한 이완된 최소제곱법을 사용하여 직접적인 행렬 역행렬 계산을 피한다.
• 설계 행렬의 열 노름에서 유도된 기계 정밀도 기반 릿지 페널티를 적용하여 수치적 안정성을 향상시킨다.
• 행렬 역행렬 없이도 이완 추정량을 계산하기 위해 삼각행렬 해법을 사용하여 계산 효율성을 높인다.
• 모든 변수에 대해 반복적으로 이완 추정량을 계산하는 알고리즘 3을 사용하여 전체 재적합을 수행한다.
• 원본 데이터셋의 코드를 활용하여 168변량 스톡과 워터슨 데이터셋을 약간의 변환을 통해 추세 안정성에 가깝게 만든다.
• 다양한 VAR 크기와 예측 기간에서 외부 검증 wMSFE(가중 평균제곱예측오차) 평가를 위한 롤링 윈도우 예측을 구현한다.

실험 결과

연구 질문

• RQ1 고차원 VAR에서 이완된 최소제곱법이 직접적인 행렬 역행렬 계산 없이도 기존 방법보다 더 높은 예측 정확도를 달성할 수 있는가?
• RQ2 다양한 거시경제 카테고리에서 제안된 방법이 라소, FAVAR, 랜덤워크 모델과 비교해 어떻게 성능을 내는가?
• RQ3 기계 정밀도 기반 릿지 페널티가 조건이 나쁜 VAR에서 수치적 안정성과 예측 성능을 향상시키는가?
• RQ4 어떤 종류의 거시경제 및 금융 시리즈에서 다변량 방법이 단변량 모델보다 유의미한 성능 향상을 제공하는가?
• RQ5 특히 고차원성과 대규모 VAR에서 지연 구조와 비영계수 선택이 시간에 따라 얼마나 안정적인가?

주요 결과

• 168변량 스톡과 워터슨 데이터셋의 13개 거시경제 카테고리 중 10개에서 요소별 HLag가 일관되게 다른 방법들을 능가하며, 75% 모델 신뢰집합(MCS)에 포함된다.
• 대규모 VAR 및 짧은 예측 기간(h=1)에서는 요소별 및 자기-다른 HLag 방법이 라소 및 AR 모델보다 유의미하게 뛰어난 성능을 보이며, 특히 GDP, 인플레이션 및 금리 시리즈에서 성능 향상이 두드러진다.
• 지연 가중 라소와 FAVAR는 두 번째 카테고리(예: 산업생산, 임금, 가격)에서 뛰어난 성능을 보이며, 13개 카테고리 중 6개에서 MCS에 포함된다.
• 환율, 주가 및 소비자 기대와 같이 예측이 어려운 시리즈에서는 다변량 방법이 단변량 AR 또는 표본 평균 모델보다 의미 있는 성능 향상을 제공하지 못한다.
• 안정성 분석(그림 21)은 중대형 VAR에서 GDP 성장률, 인플레이션(CPIAUSL), 연방기금금리와 같은 핵심 변수의 비영계수가 시간에 따라 일관되게 선택됨을 보여주며, 안정적인 선택 패턴을 유지한다.
• 그림 19와 20에서 보듯이, 최대 지연 수(pmax=13)와 예측 기간(h=4 및 h=8)에 관계없이 이 방법은 뛰어난 성능을 유지하며, 대규모 VAR에서 MCS에 일관되게 포함된다.