[논문 리뷰] Hierarchical Vector Autoregression

William B. Nicholson, Jacob Bien외 1명|arXiv (Cornell University)|2014. 12. 17.

Monetary Policy and Economic Impact참고 문헌 70인용 수 17

한 줄 요약

이 논문은 중첩 그룹 라소 페널티를 사용하여 지연 순서 선택을 볼록 최적화 프레임워크에 통합한 정규화된 VAR 모델인 계층적 벡터 자기회귀(HVAR)를 제안한다. 지연 순서 간의 순서화된 희박성 조건을 부여함으로써 HVAR는 고차원 시계열에서 예측 정확도와 해석 가능성 모두 향상시키며, 시뮬레이션 및 거시경제적 응용에서 기존의 전통적 및 라소 기반 VAR 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Vector autoregression (VAR) is a fundamental tool for modeling the joint dynamics of multivariate time series. However, as the number of component series is increased, the VAR model quickly becomes overparameterized, making reliable estimation difficult and impeding its adoption as a forecasting tool in high dimensional settings. A number of authors have sought to address this issue by incorporating regularized approaches, such as the lasso, that impose sparse or low-rank structures on the estimated coefficient parameters of the VAR. More traditional approaches attempt to address overparameterization by selecting a low lag order, based on the assumption that dynamic dependence among components is short-range. However, these methods typically assume a single, universal lag order that applies across all components, unnecessarily constraining the dynamic relationship between the components and impeding forecast performance. The lasso-based approaches are more flexible but do not incorporate the notion of lag order selection. We propose a new class of regularized VAR models, called hierarchical vector autoregression (HVAR), that embed the notion of lag selection into a convex regularizer. The key convex modeling tool is a group lasso with nested groups which ensure the sparsity pattern of autoregressive lag coefficients honors the ordered structure inherent to VAR. We provide computationally efficient algorithms for solving HVAR problems that can be parallelized across the components. A simulation study shows the improved performance in forecasting and lag order selection over previous approaches, and a macroeconomic application further highlights forecasting improvements as well as the convenient, interpretable output of a HVAR model.

연구 동기 및 목표

• 정규화를 통해 지연 순서 선택을 통합함으로써 고차원 벡터 자기회귀(VAR) 모델의 과적합 문제를 해결하기 위해.
• 고정된 지연 순서를 가진 VAR 모델의 한계를 극복하기 위해, 모든 구성 요소에 대해 균일한 지연 의존성을 가정하고 동적 관계를 제약하는 것을 방지하기 위해.
• 자기회귀 지연의 순서 구조를 유지하면서도 희박하고 해석 가능한 계수 추정을 가능하게 하는 볼록 최적화 프레임워크를 개발하기 위해.
• 구조화된 희박성과 효율적이고 병렬 처리 가능한 계산을 조합함으로써 고차원 설정에서의 예측 성능을 향상시키기 위해.
• 지연 순서 선택을 명시적으로 모델링하지 않는 기존의 정규화된 VAR 접근법에 비해 더 해석 가능하고 정확한 대안을 제공하기 위해.

제안 방법

• HVAR는 지연 계수 간의 계층적 희박성을 강제하는 중첩 그룹 라소 페널티를 적용하여, 고차원 지연 순서가 포함되어 있으면 그 이하의 모든 지연 순서도 반드시 포함되어야 하도록 보장한다.
• 정규화 구조는 VAR 모델에서 지연의 자연스러운 순서를 반영하도록 설계되어 있어, 인과성과 시간적 순서의 의존성 구조를 유지한다.
• 추정 문제를 볼록 최적화 문제로 공식화하여, 좌표 강하 또는 기타 프록시 알고리즘을 통해 효율적인 계산이 가능하도록 한다.
• 변수 간 병렬 처리가 가능하여, 많은 변수를 포함한 고차원 시계열에 대해 확장 가능한 성능을 제공한다.
• 각 지연 순서에 해당하는 계수의 중첩 그룹에 대해 그룹 라소 페널티를 적용하여 구조화된 희박성을 촉진한다.
• 각 변수별로 자동으로 지연 순서 선택이 가능하여, 구성 요소 간 이질적인 동적 의존성을 허용한다.

실험 결과

연구 질문

• RQ1 지연 순서 선택을 명시적으로 통합한 정규화된 VAR 모델이 기존의 전통적 및 라소 기반 VAR 방법보다 예측 정확도에서 뛰어나게 되는가?
• RQ2 중첩 그룹 라소를 통한 계층적 희박성 강제가 추정된 VAR 계수의 해석 가능성과 구조적 특성을 향상시키는가?
• RQ3 표준 VAR 모델이 과적합이 되는 고차원 설정에서 HVAR는 어떻게 성능을 발휘하는가?
• RQ4 HVAR는 다변량 시계열의 서로 다른 구성 요소 간에 이질적인 지연 순서를 어느 정도 정확하게 식별할 수 있는가?
• RQ5 병렬 처리를 통해 HVAR 프레임워크는 대규모 데이터셋에 대해 효율적으로 계산되고 확장 가능한가?

주요 결과

• 시뮬레이션 연구에서 HVAR는 표준 VAR 및 라소 기반 VAR 방법보다 예측 정확도가 뚜렷이 향상된다.
• 모델은 구성 요소 간 이질적인 지연 순서를 성공적으로 식별하여 진정한 동적 의존성 구조를 반영한다.
• 경쟁 방법 대비 HVAR는 더 나은 지연 순서 선택 성능을 보이며, 합성 데이터에서 진짜 지연 구조를 정확히 식별한다.
• 볼록 최적화 프레임워크 덕분에 효율적인 계산이 가능하며, 변수 간 병렬 처리가 효과적으로 가능한 알고리즘이다.
• 거시경제적 응용에서 HVAR는 뛰어난 예측 성능를 제공하면서도 해석 가능하고 희박한 계수 행렬을 생성한다.
• 중첩 그룹 라소 구조는 지연 계수의 희박성 패턴이 자기회귀 항의 시간적 순서를 존중함을 보장한다.