[논문 리뷰] Multi-linear Tensor Autoregressive Models

Zebang Li, Xiao Han|arXiv (Cornell University)|2021. 10. 03.

Tensor decomposition and applications참고 문헌 47인용 수 5

한 줄 요약

이 논문은 벡터화를 방지하고 고유한 다차원 구조를 유지하는 텐서형 시계열을 위한 다중선형 텐서 자기회귀 모델(TenAR)을 제안한다. 세 가지 추정기—투영, 최소제곱, 최대우도—를 도입하고, 고정 차원에서는 점근적 정규성을, 고차원에서는 수렴 속도를 확립하며, 확장된 BIC를 통한 모델 선택을 통해 시뮬레이션 및 실제 데이터(파마프랭스 포트폴리오, 택시 수요 포함)에서 뛰어난 예측 성능을 입증한다.

ABSTRACT

Contemporary time series analysis has seen more and more tensor type data, from many fields. For example, stocks can be grouped according to Size, Book-to-Market ratio, and Operating Profitability, leading to a 3-way tensor observation at each month. We propose an autoregressive model for the tensor-valued time series, with autoregressive terms depending on multi-linear coefficient matrices. Comparing with the traditional approach of vectoring the tensor observations and then applying the vector autoregressive model, the tensor autoregressive model preserves the tensor structure and admits corresponding interpretations. We introduce three estimators based on projection, least squares, and maximum likelihood. Our analysis considers both fixed dimensional and high dimensional settings. For the former we establish the central limit theorems of the estimators, and for the latter we focus on the convergence rates and the model selection. The performance of the model is demonstrated by simulated and real examples.

연구 동기 및 목표

• 벡터 자기회귀 모델이 텐서 구조를 상실하는 한계를 해결하기 위해 다중선형 관계를 유지하는 텐서형 자기회귀 모델을 제안한다.
• 텐서 형태를 존중하고 추론을 가능하게 하는 추정 절차—투영, 최소제곱, 최대우도—를 개발한다.
• 고정 차원 설정에서 최소제곱추정기(LSE) 및 최대우도추정기(MLE)의 점근적 정규성을 확립한다.
• 자기회귀 차수 및 K-랭크를 일관적으로 선택할 수 있도록 확장된 베이지안 정보기준(BIC)을 제안한다.
• 실제 텐서 시계열 자료에서 표준 VAR 및 단변량 AR 모델에 비해 TenAR 모델의 예측 우수성을 입증한다.

제안 방법

• 계수 행렬을 사용하는 다중선형 항을 활용한 텐서 자기회귀 모델을 설정하며, 각 지연된 텐서는 모드별 다중선형 연산을 통해 곱해진다.
• 계수 행렬에 대해 교대 최적화를 통해 최소제곱추정기(LSE)를 개발하며, 양호한 초기화가 필요하다.
• 분리 가능한 공분산 가정 하에 최대우도추정기(MLE)를 유도하며, 동일한 교대 알고리즘으로 해결한다.
• LSE 및 MLE의 계산 효율성을 높이기 위해 투영 기반 추정기를 제안하며, 안정성 확보를 위해 일부 효율성을 희생한다.
• 자기회귀 차수 및 각 지연에서의 다중선형 항 수(K-랭크)를 선택하기 위해 확장된 BIC를 도입한다.
• 계수 행렬을 추정하기 위해 반복 알고리즘을 적용하며, 텐서 모드 간 반복 업데이트를 통해 수렴 여부를 모니터링한다.

실험 결과

연구 질문

• RQ1 다중선형 자기회귀 모델은 텐서 구조를 유지하고 벡터화된 VAR 모델에 비해 해석 가능성 향상에 기여할 수 있는가?
• RQ2 고정 차원 설정에서 LSE 및 MLE의 점근적 성질은 무엇인가?
• RQ3 고차원 설정에서 추정기의 성능은 어떠하며, 수렴 속도는 무엇인가?
• RQ4 확장된 BIC는 고정 및 고차원 설정 모두에서 최적의 자기회귀 차수 및 K-랭크를 일관되게 선택할 수 있는가?
• RQ5 TenAR 모델은 실세계의 텐서 시계열 자료에서 표준 VAR 및 단변량 AR 모델보다 예측 성능이 뛰어나게 되는가?

주요 결과

• 택시 수요 데이터에서 MLE를 사용한 TenAR 모델(지연 수 p=7)이 모든 다른 모델보다 뛰어난 예측 성능을 보였다.
• 파마프랭스 포트폴리오 데이터에서는 모든 TenAR(p) 모델이 개별 AR(p) 및 VAR(p) 모델을 초월했으며, 특히 p=7일 때 최고의 성능를 기록했다.
• LSE와 MLE는 유사한 성능를 보였고, 최고의 모델(p=5)에서 MLE가 LSE를 略히 뛰어넘어 우도 기반 접근의 강건성을 입증했다.
• 투영 추정기는 LSE 및 MLE의 교대 알고리즘에 효과적인 초기화 방법으로 기능하며, 수렴 안정성을 향상시켰다.
• 확장된 BIC를 통한 모델 선택은 고정 및 고차원 설정 모두에서 일관되었으며, 최적의 모델 구조를 정확히 식별했다.
• 모델 선택 과정에서 K-랭크를 늘리더라도 항상 성능 향상이 보장되지 않았다—예를 들어, 일부 경우에서 R=(1,1)이 R=(3,3)보다 더 뛰어난 성능를 보였다. 이는 모델 복잡도가 균형을 이루어야 함을 시사한다.