[논문 리뷰] High-dimensional vector autoregressive time series modeling via tensor decomposition

Di Wang, Yao Zheng외 2명|arXiv (Cornell University)|2019. 09. 14.

Tensor decomposition and applications참고 문헌 60인용 수 9

한 줄 요약

이 논문은 변수, 지연, 시간 세 모드에 동시에 차원을 줄이기 위해 텐서 기반의 벡터 자기회귀(VAR) 모델을 제안하며, 터커 분해를 활용하여 고차원 시계열에서 효율적인 추정을 가능하게 한다. 저자는 낮은 질서의 구조와 스파arsity 유도 정규화를 조합함으로써 예측 정확도와 해석 가능성 모두에서 기존의 VAR, DFM, RRR 방법들을 능가하는 성능을 달성한다. 시뮬레이션 및 실데이터 실험에서 검증되었다.

ABSTRACT

The classical vector autoregressive model is a fundamental tool for multivariate time series analysis. However, it involves too many parameters when the number of time series and lag order are even moderately large. This paper proposes to rearrange the transition matrices of the model into a tensor form such that the parameter space can be restricted along three directions simultaneously via tensor decomposition. In contrast, the reduced-rank regression method can restrict the parameter space in only one direction. Besides achieving substantial dimension reduction, the proposed model is interpretable from the factor modeling perspective. Moreover, to handle high-dimensional time series, this paper considers imposing sparsity on factor matrices to improve the model interpretability and estimation efficiency, which leads to a sparsity-inducing estimator. For the low-dimensional case, we derive asymptotic properties of the proposed least squares estimator and introduce an alternating least squares algorithm. For the high-dimensional case, we establish non-asymptotic properties of the sparsity-inducing estimator and propose an ADMM algorithm for regularized estimation. Simulation experiments and a real data example demonstrate the advantages of the proposed approach over various existing methods.

연구 동기 및 목표

• 변수 수와 지연 순서가 중간 정도로 큰 경우 고전적 고차원 VAR 모델의 높은 매개변수 수 문제를 해결하기 위해.
• 감소된 질서의 회귀는 매개변수 공간을 오직 한 방향으로만 제한하는 한계가 있으므로, 전이 텐서의 세 모드인 변수, 지연, 시간에 동시에 낮은 질서 제약을 부여함으로써 이를 극복하기 위해.
• 요인 행렬에 스파arsity를 도입함으로써 고차원 설정에서 모델의 해석 가능성과 추정 효율성을 향상시키기 위해.
• 직교성 및 스파arsity 제약 조건 하에서 계산적으로 실현 가능한 추정 절차를 개발하기 위해 — 저차원에서는 교대 최소 제곱법을, 고차원에서는 ADMM를 사용한다.

제안 방법

• 전이 행렬을 세 방향 텐서로 재구성하여 다중선형 낮은 질서의 구조를 터커 분해를 통해 활용하기 위해.
• 텐서화된 VAR 모델에 터커 분해를 적용하여 변수, 지연, 시간 세 방향으로 매개변수 공간을 제약하기 위해.
• 요인 행렬에 ℓ₁-정규화를 적용하여 스파arsity를 유도하는 추정기 도입으로 해석 가능성 향상과 과적합 방지를 위해.
• 핵심 및 요인 행렬에 직교성 제약 조건을 두고 저차원 추정을 위한 교대 최소 제곱 알고리즘 개발.
• 고차원 설정에서 공동 ℓ₁-정규화 및 직교성 제약 조건을 만족시키는 정규화된 추정 문제를 해결하기 위해 ADMM 알고리즘 제안.
• 맥roeconomic 데이터에서 모델 성능 평가를 위해 롤링 예측 절차를 사용하며, DFM, RRR, 정규화된 VAR 방법과 비교한다.

실험 결과

연구 질문

• RQ1 VAR 전이 텐서의 터커 분해가 감소된 질서의 회귀가 달성할 수 있는 것 이상으로 변수, 지연, 시간 세 방향에서 동시에 차원 축소를 가능하게 할 수 있는가?
• RQ2 터커 분해의 요인 행렬에 스파arsity를 강제로 적용할 경우 고차원 시계열에서 모델의 해석 가능성과 추정 효율성에 어떤 영향을 미치는가?
• RQ3 다양한 모델 제약 조건 하에서 제안된 최소 제곱법 및 스파arsity 유도 추정기의 점근적 및 비점근적 성질은 어떠한가?
• RQ4 실제 매크로경제 데이터에서 제안된 텐서 기반 VAR 모델이 DFM, RRR, 정규화된 VAR 모델과 비교해 예측 정확도에서 어떤가?

주요 결과

• 실데이터 예제에서 제안된 SHORR 추정기는 모든 경쟁 방법 중에서 ℓ₂ 및 ℓ∞ 노름 기준으로 가장 작은 예측 오차를 기록하였다.
• MLR 및 SHORR 추정기는 r=4인 DFM, 정규화된 VAR, 비정규화된 RRR보다 예측 정확도에서 뚜렷한 우월성을 보였다. 이는 세 방향의 차원 축소의 이점을 입증한다.
• 터커 분해 프레임워크는 매개변수 수를 N²P에서 r₁r₂r₃ + (N−r₁)r₁ + (N−r₂)r₂ + (T−r₃)r₃로 줄여 고차원 설정에서도 추정 가능성을 확보하였다.
• ADMM 알고리즘은 요인 행렬의 공동 ℓ₁-정규화 및 직교성 제약 조건으로 인한 계산적 과제를 효과적으로 처리하였으며, 안정적인 수렴을 보장하였다.
• 시뮬레이션 및 실데이터 실험에서 변수 수와 지연 수가 중간 정도로 큰 경우에도 제안된 모델은 편향과 분산 측면에서 기존 방법들을 능가하는 강력한 성능을 유지하였다.