[논문 리뷰] High-Dimensional Low-Rank Tensor Autoregressive Time Series Modeling

Di Wang, Yao Zheng외 1명|arXiv (Cornell University)|2021. 01. 12.

Tensor decomposition and applications참고 문헌 38인용 수 11

한 줄 요약

이 논문은 핵심 범수 정규화를 통한 터커 분해를 활용하여 복잡한 다차원 시계열, 예를 들어 글로벌 무역 유량을 효율적으로 모델링할 수 있는 고차원 저질서 텐서 자기회귀(LRTAR) 모델을 제안한다. 전이 텐서의 저질서 구조를 활용함으로써 모델은 상당한 차원 감소를 달성하면서도 해석 가능한 다차원 동적 인자 모델링을 가능하게 하며, 이론적 보장과 실제 데이터에서의 뛰어난 성능을 확보한다.

ABSTRACT

Modern technological advances have enabled an unprecedented amount of structured data with complex temporal dependence, urging the need for new methods to efficiently model and forecast high-dimensional tensor-valued time series. This paper provides a new modeling framework to accomplish this task via autoregression (AR). By considering a low-rank Tucker decomposition for the transition tensor, the proposed tensor AR can flexibly capture the underlying low-dimensional tensor dynamics, providing both substantial dimension reduction and meaningful multi-dimensional dynamic factor interpretations. For this model, we first study several nuclear-norm-regularized estimation methods and derive their non-asymptotic properties under the approximate low-rank setting. In particular, by leveraging the special balanced structure of the transition tensor, a novel convex regularization approach based on the sum of nuclear norms of square matricizations is proposed to efficiently encourage low-rankness of the coefficient tensor. To further improve the estimation efficiency under exact low-rankness, a non-convex estimator is proposed with a gradient descent algorithm, and its computational and statistical convergence guarantees are established. Simulation studies and an empirical analysis of tensor-valued time series data from multi-category import-export networks demonstrate the advantages of the proposed approach.

연구 동기 및 목표

• 복잡한 시간적 및 교차적 의존성을 가진 고차원 다차원 텐서 값 시계열을 모델링하는 데 도전하는 것.
• 전이 텐서의 저질서 구조를 활용하여 고차원 텐서 자기회귀 모델의 차원을 감소시키는 것.
• 고차원 점근적 조건 하에서 계산적으로 효율적이고 통계적으로 일致하는 추정 방법을 개발하는 것.
• 계수 텐서의 터커 분해를 통해 다차원 동적 인자 구조를 해석 가능하게 만드는 것.
• 다중 카테고리, 다중 국가, 다중 시간 차원을 가진 실제 글로벌 무역 유량 데이터에서 모델의 효과성을 입증하는 것.

제안 방법

• 고차원 텐서 시계열에서 저차원 동적 구조를 표현하기 위해 계수 텐서의 터커 분해를 사용하는 텐서 자기회귀 모델을 제안한다.
• 전이 텐서의 저질서 구조를 유도하기 위해 정사각형 매트리시제이션의 핵심 범수의 합을 기반으로 한 새로운 볼록 정규화 방법을 도입한다.
• 정확한 저질서 가정 하에서 효율성을 향상시키기 위해 경사 하강법을 사용하는 비볼록 추정기를 개발하며, 수렴 보장을 제공한다.
• 계산 가능성을 확보하기 위해 (T)SSN 추정기의 해결을 위해 ADMM 알고리즘을 활용한다.
• 근사 저질서 설정 하에서 볼록 및 비볼록 추정기의 비점근적 통계적 성질을 유도한다.
• 기존의 행렬 및 다중선형 텐서 자기회귀 프레임워크와의 연결을 통해, 본 모델이 더 유연하고 단순한 일반화임을 보여준다.

Figure 1: Illustration of vector-, matrix- and tensor-valued time series $\mathbf{y}_{t}=(ex_{1,t},im_{1,t},\dots,ex_{N,t},im_{N,t})^{\top}$ , $\mathbf{Y}_{t}=(ex_{i,j,t})_{1\leq i,j\leq N}$ , and $\mbox{\boldmath$\mathscr{Y}$}_{t}=(ex_{i,j,k,t})_{1\leq i,j\leq N,1\leq k\leq K}$ in the context of mo

실험 결과

연구 질문

• RQ1 전이 텐서의 저질서 터커 분해가 고차원 텐서 자기회귀 모델에서 차원 감소에 효과적으로 기여할 수 있는가?
• RQ2 매트리시제이션된 구성 요소의 핵심 범수의 합을 통한 볼록 정규화는 계수 텐서의 저질서 구조를 어떻게 촉진하는가?
• RQ3 정확한 저질서 텐서 자기회귀에 대한 비볼록 추정기의 통계적 및 계산적 성질은 무엇인가?
• RQ4 모델의 단순성과 예측 정확도 측면에서 기존 모델(MAR 및 MTAR)과 비교해 볼 때 어떤가?
• RQ5 본 모델은 실제 텐서 값 시계열, 예를 들어 글로벌 무역 유량과 같은 다차원 동적 인자 구조를 의미 있게 드러낼 수 있는가?

주요 결과

• 근사 저질서 가정 하에서 핵심 범수의 합 기반 볼록 추정기는 비점근적 오차 경계를 확보하여 통계적 일致성을 보장한다.
• 경사 하강법을 사용하는 비볼록 추정기는 정확한 저질서 조건 하에서 더 빠른 수렴과 향상된 추정 정확도를 달성하며, 계산적 및 통계적 수렴 보장을 제공한다.
• 시뮬레이션 연구 결과, 고차원 설정 하에서 표준 VAR 및 MAR 모델보다 예측 정확도와 매개변수 추정 성능에서 본 방법이 뛰어나다는 것이 입증되었다.
• 다중 카테고리 수입-수출 네트워크에 대한 실증 분석은 모델이 다중 국가 및 다중 제품의 복잡한 무역 동적 구조를 효과적으로 포착할 수 있음을 확인한다.
• 본 모델은 행렬 자기회귀(MAR) 및 다중선형 텐서 자기회귀(MTAR) 모델의 일반화임이 입증되었으며, 특수한 경우로 포함된다.
• 터커 기반 분해는 국가, 제품, 시간 등의 여러 모드에서 해석 가능한 동적 인자를 제공하여 모델의 투명성을 향상시킨다.

Figure 2: Average estimation error for TSSN, SSN, MN, and SN estimators for data generated with different $d$ , $p_{i}$ ’s and Tucker ranks in experiment 1