[논문 리뷰] High Dimensional and Banded Vector Autoregressions

Shaojun Guo, Yazhen Wang외 1명|arXiv (Cornell University)|2015. 02. 27.

Statistical Methods and Inference참고 문헌 27인용 수 8

한 줄 요약

이 논문은 높은 차원의 시계열 데이터에서 희박한 의존 구조를 모델링하기 위해 밴드형 벡터 자기회귀(VAR) 모델을 제안한다. 이 모델은 계수 행렬을 밴드형으로 제한함으로써 파라미터 수를 O(p²)에서 O(p)로 감소시킨다. 프로베니우스 노름 하에서 수렴 속도는 (p/n)^{1/2}이며, 스펙트럴 노름 하에서는 (log p/n)^{1/2}이다. 또한, 밴드폭 선택을 위한 일致한 베이지안 정보 기준(BIC)을 제안하며, 밴드로 잘라낸 표본 자기공분산 행렬이 log(n/log p)(log p/n)^{1/2}의 속도로 일致한 추정자임을 보였다.

ABSTRACT

We consider a class of vector autoregressive models with banded coefficient matrices. The setting represents a type of sparse structure for high-dimensional time series, though the implied autocovariance matrices are not banded. The structure is also practically meaningful when the order of component time series is arranged appropriately. The convergence rates for the estimated banded autoregressive coefficient matrices are established. We also propose a Bayesian information criterion for determining the width of the bands in the coefficient matrices, which is proved to be consistent. By exploring some approximate banded structure for the auto-covariance functions of banded vector autoregressive processes, consistent estimators for the auto-covariance matrices are constructed.

연구 동기 및 목표

• 고차원 벡터 자기회귀 모델에서의 과도한 파라미터 수와 식별성 문제를 해결하기 위해.
• 오직 인접한 시계열 성분들만 상호작용하는 동적 의존 구조를 모델링하기 위해, 밴드형 계수 행렬을 통해.
• 고차원 환경에서 자기회귀 계수 행렬과 자기공분산 함수에 대한 일관된 추정 절차를 개발하기 위해.
• 표본 크기 n과 차원 p가 모두 증가할 때, 진짜 밴드폭을 일관되게 결정할 수 있는 마진형 베이지안 정보 기준(BIC)을 제안하기 위해.

제안 방법

• 계수 행렬이 대각선 주변의 좁은 밴드 내에서만 비영인 밴드형 자기회귀 모델을 가정하며, 이는 파라미터 수를 O(p²)에서 O(p)로 감소시킨다.
• 프로베니우스 노름과 스펙트럴 노름 하에서 최소제곱 추정을 통해 자기회귀 계수 행렬을 추정하며, 각각 (p/n)^{1/2} 및 (log p/n)^{1/2}의 수렴 속도를 확립한다.
• 정규 조건 하에서 n, p → ∞ 일 때 진짜 밴드폭 k₀를 일관되게 선택할 수 있는 마진형 베이지안 정보 기준(BIC)을 제안한다.
• 진짜 자기공분산 함수의 일관된 추정자로 밴드로 잘라낸 표본 자기공분산 행렬을 도입하며, 점점 커지는 밴드형 근사에 기반한다.
• 고차원 환경에서 추정 오차를 통제하기 위해 농도 부등식과 고유값 경계(레미마 1, 5, 6를 활용)와 같은 기술적 도구를 사용한다.
• 다양한 순서(진짜, 국소 순열, 무작위) 하에서 시뮬레이션 연구를 통해 방법을 검증하며, BIC 점수와 사후 예측 오차를 비교한다.

실험 결과

연구 질문

• RQ1 밴드형 계수 행렬은 고차원 VAR 모델에서 파라미터 수를 줄이면서도 동적 의존 구조를 유지하는 데 효과적인가?
• RQ2 n과 p가 증가함에 따라, 프로베니우스 노름과 스펙트럴 노름 하에서 밴드형 VAR 계수 행렬의 최소제곱 추정기의 수렴 속도는 무엇인가?
• RQ3 제안된 마진형 베이지안 정보 기준(BIC)은 고차원 밴드형 VAR 모델에서 밴드폭 선택에 대해 일관적인가?
• RQ4 밴드로 잘라낸 표본 자기공분산 행렬은 밴드형 VAR 과정에서 진짜 자기공분산 함수를 일관되게 추정할 수 있는가?
• RQ5 시계열 성분의 순서가 밴드형 VAR 모델의 추정 정확도와 예측 성능에 어떤 영향을 미치는가?

주요 결과

• 밴드형 VAR 계수 행렬의 최소제곱 추정기는 n과 p가 발산함에 따라 프로베니우스 노름 하에서 (p/n)^{1/2}의 수렴 속도를 달성하고, 스펙트럴 노름 하에서는 (log p/n)^{1/2}의 수렴 속도를 갖는다.
• 제안된 마진형 베이지안 정보 기준(BIC)은 n과 p가 모두 무한대에 접근할 때 진짜 밴드폭 k₀를 일관되게 선택한다.
• 밴드로 잘라낸 표본 자기공분산 행렬은 진짜 자기공분산 함수의 일관된 추정자이며, 수렴 속도가 log(n/log p)(log p/n)^{1/2}로, 표준 밴드형 공분산 추정자보다 더 빠르다.
• 시뮬레이션 결과, 진짜 순서를 가진 모델이 가장 낮은 BIC 점수와 가장 우수한 사후 예측 오차를 기록했고, 그 다음으로 국소 순열과 라소 기반 모델이 뒤를 이었다.
• 임의의 무작위 순서를 사용한 모델은 가장 열 劣했으며, 이는 적절한 순서가 성능에 매우 중요하다는 것을 시사한다. 또한 진짜 순서는 항상 BIC와 예측 정확도 측면에서 다른 모델을 앞선다.
• n=200, p=100일 때, 진짜 순서 모델은 1단계 앞선 예측 오차 0.787(0.06)를 기록했고, 무작위 순서는 0.828(0.07)를 기록하여 의미 있는 성능 격차를 보였다.