[논문 리뷰] Interpretable Vector AutoRegressions with Exogenous Time Series

Ines Wilms, Sumanta Basu외 2명|arXiv (Cornell University)|2017. 11. 09.

Forecasting Techniques and Applications참고 문헌 12인용 수 8

한 줄 요약

이 논문은 외생 변수를 포함한 대규모 벡터 자기회귀 모델(VARX)을 위한 지연 기반 계층적 희박 추정기인 HVARX를 제안한다. HVARX는 계층적 그룹 라소 펜alties를 통해 동시에 차원 축소와 자동 지연 선택을 수행한다. HVARX는 낮은 지연 순서를 갖는 매우 해석 가능한 모델을 생성하며, 라소 유형의 추정기보다 더 높은 외부 예측 정확도를 확보한다.

ABSTRACT

The Vector AutoRegressive (VAR) model is fundamental to the study of multivariate time series. Although VAR models are intensively investigated by many researchers, practitioners often show more interest in analyzing VARX models that incorporate the impact of unmodeled exogenous variables (X) into the VAR. However, since the parameter space grows quadratically with the number of time series, estimation quickly becomes challenging. While several proposals have been made to sparsely estimate large VAR models, the estimation of large VARX models is under-explored. Moreover, typically these sparse proposals involve a lasso-type penalty and do not incorporate lag selection into the estimation procedure. As a consequence, the resulting models may be difficult to interpret. In this paper, we propose a lag-based hierarchically sparse estimator, called "HVARX", for large VARX models. We illustrate the usefulness of HVARX on a cross-category management marketing application. Our results show how it provides a highly interpretable model, and improves out-of-sample forecast accuracy compared to a lasso-type approach.

연구 동기 및 목표

• 시계열 수가 증가함에 따라 매개변수 공간이 제곱적으로 증가하는 대규모 VARX 모델을 추정하는 데 발생하는 과제를 해결하기 위해.
• VARX 모델에서 고차원 추정 문제와 지연 순서 선택 문제를 동시에 해결하기 위해.
• 추정 과정에 자동 지연 선택을 통합함으로써 모델의 해석 가능성을 향상시키기 위해.
• 라소 기반 VARX 방법보다 외부 예측 정확도를 향상시키기 위해.
• 내생 및 외생 성분을 포함한 다변량 시계열에 대한 민감하고 단순한 모델링 프레임워크를 제공하기 위해.

제안 방법

• HVARX는 내생 및 외생 계수 행렬에 계층적 그룹 라소 펜alty를 적용하여 지연 기반의 희박성을 유도한다.
• 이 방법은 VARX 모델의 각 개별 방정식에서 내생 및 외생 시리즈의 별도 지연 순서를 추정한다.
• 행렬 형태로 표현된 모델 Y = ΦZ + BX + E를 사용하며, Φ와 B는 계층적 희박성 제약 조건 하에서 추정된다.
• 지연 수준에서 희박성을 촉진하기 위해 계층적 그룹 라소 펜alty를 적용한다. 이는 낮은 지연 순서를 선호한다.
• 지연 선택을 추정 과정에 직접 통합하여 추정 후 모델 선택 단계를 회피한다.
• 최대 지연 순서는 내생 및 외생 성분 모두에 대해 ⌊1.5√T⌋ = 13으로 설정된다.

실험 결과

연구 질문

• RQ1 자동 지연 선택을 수행하는 희박 VARX 추정기의 성능이 고차원 다변량 시계열에서 모델의 해석 가능성을 향상시킬 수 있는가?
• RQ2 차원 축소와 지연 순서 선택을 동시에 추정하는 것이 라소 기반 VARX 방법보다 더 높은 예측 정확도를 달성할 수 있는가?
• RQ3 추정된 지연 행렬은 마케팅 응용에서의 교차 카테고리 수요 효과를 어떻게 드러내는가?
• RQ4 라소 유형의 추정기 대비 HVARX는 유의미하게 낮은 지연 계수 추정치를 감소시킬 수 있는가?
• RQ5 정보 기준(예: BIC)에 따르면 HVARX의 모델 적합도가 라소-VARX보다 유의미하게 뛰어나게 되는가?

주요 결과

• HVARX는 BIC 11.08을 기록하여 라소-VARX의 BIC 43.11보다 유의미하게 낮아, 내부 샘플 모델 적합도가 뛰어나다는 것을 시사한다.
• 내생 판매의 추정 지연 행렬(HVARX)은 비대각 요소의 15%만 비영이었으며, 이는 교차 카테고리 효과가 희박함을 나타낸다.
• 외생 가격 및 프 motion 시리즈의 경우, 각각 256개 요소 중 8개와 7개의 비영 요소만 추정되었으며, 이는 강력한 희박성을 나타낸다.
• HVARX는 평균 제곱 예측 오차(MSFE)를 0.391로 줄였고, 라소-VARX의 0.453보다 유의미하게 높은 정확도를 확보했다(유의수준 5%).
• 모델은 내재된 카테고리 내 판매 효과가 지배적임을 드러내었으며, 내생 지연 행렬의 대부분 비영 계수는 대각선에 위치해 있었다.
• 외생 지연 행렬은 제품 카테고리 간 대체 또는 유사성 효과를 반영하였으며, 지연 반응은 주로 특정 교차 카테고리 관계에서 나타났다.