[논문 리뷰] Sparse transition matrix estimation for high-dimensional and locally stationary vector autoregressive models

Xin Ding, Ziyi Qiu외 1명|arXiv (Cornell University)|2016. 04. 14.

Sparse and Compressive Sensing Techniques참고 문헌 34인용 수 4

한 줄 요약

이 논문은 고차원적이고 국소적으로 정적인 벡터 자기회귀 모형(TV-VAR)에서 시간에 따라 변하는 전이행렬을 추정하기 위해 하이브리드 커널 스무딩과 ℓ¹-정규화 방법을 제안한다. 최적의 수렴 속도를 확립하고, 약한 신호 조건 하에서도 그래프 복원에서 가짜 양성 및 가짜 음성 비율이 渐진적으로 0에 수렴함을 증명한다. 이는 최소한의 신호 강도 조건을 필요로 하지 않는다.

ABSTRACT

We consider the estimation of the transition matrix in the high-dimensional time-varying vector autoregression (TV-VAR) models. Our model builds on a general class of locally stationary VAR processes that evolve smoothly in time. We propose a hybridized kernel smoothing and $\ell^1$-regularized method to directly estimate the sequence of time-varying transition matrices. Under the sparsity assumption on the transition matrix, we establish the rate of convergence of the proposed estimator and show that the convergence rate depends on the smoothness of the locally stationary VAR processes only through the smoothness of the transition matrix function. In addition, for our estimator followed by thresholding, we prove that the false positive rate (type I error) and false negative rate (type II error) in the pattern recovery can asymptotically vanish in the presence of weak signals without assuming the minimum nonzero signal strength condition. Favorable finite sample performances over the $\ell^2$-penalized least-squares estimator and the unstructured maximum likelihood estimator are shown on simulated data. We also provide two real examples on estimating the dependence structures on financial stock prices and economic exchange rates datasets.

연구 동기 및 목표

• 고차원적이고 비정적 시계열에서 고전적 VAR 모형의 한계를 해결하기 위해 시간에 따라 변하는 전이행렬을 모델링한다.
• 전이행렬에 희소성과 매끄러움을 도입함으로써 고차원 VAR 모형에서의 차원의 저주 문제를 해결한다.
• 강한 신호 강도 조건을 요구하지 않고도 시간에 따라 변하는 의존 구조의 일致한 추정을 보장하는 방법을 개발한다.
• 약한 신호 조건 하에서도 그래프적 패턴 복원에서 가짜 양성 및 가짜 음성 비율이 渐진적으로 0에 수렴하도록 한다.
• 고차원적이고 국소적으로 정적인 VAR 과정에서의 추정 및 구조 학습을 위한 통합 프레임워크를 제공한다.

제안 방법

• 지역 정적성을 활용하여 각 시간점 $ t = i/n $ 에서 시간에 따라 변하는 전이행렬 함수 $ A(t) $ 를 커널 스무딩으로 추정한다.
• 전이행렬의 최소제곱 추정량 $ A_i $ 에 대해 ℓ¹-정규화를 적용하여 전이행렬의 희소성을 확보한다.
• 시간에 따라 다른 조정을 적용하는 정벌 최적화 문제로 공식화한다: $ \hat{A}_i = \arg\min_{A} \| \mathbf{X}_i - A \mathbf{X}_{i-1} \|_F^2 + \lambda \| A \|_1 $.
• 시간에 따라 추정된 행렬들의 시퀀스를 매끄럽게 하기 위해 손실 함수에 커널 가중치를 통합한다.
• 최종 추정량에 임계값 처리를 적용하여 시간에 따라 변하는 의존 네트워크의 그래프적 구조를 복원한다.
• 희소성과 매끄러움 조건 하에서 농도 부등식과 행렬 노름 경계를 통해 이론적 보장을 확립한다.

실험 결과

연구 질문

• RQ1 희소성 조건 하에서 국소적으로 정적인 TV-VAR 모형에서 고차원적 시간에 따라 변하는 전이행렬을 일관되게 추정할 수 있는가?
• RQ2 제안된 추정기의 최적 수렴 속도는 무엇이며, 전이행렬 함수의 매끄러움에 어떻게 의존하는가?
• RQ3 최소한의 비영 신호 강도 조건 없이도 패턴 복원에서 가짜 양성 및 가짜 음성 비율이 渐진적으로 0에 수렴할 수 있는가?
• RQ4 유한 표본에서 하이브리드 커널-ℓ¹ 방법은 표준 ℓ²-정규화된 최소제곱 추정기 및 비정형 최대우도추정기보다 어떻게 비교되는가?
• RQ5 이 방법은 실제 금융 및 경제 시계열 자료에서 시간에 따라 변하는 의존 구조를 효과적으로 복원할 수 있는가?

주요 결과

• 제안된 추정기는 전이행렬 함수의 매끄러움에만 의존하는 수렴 속도를 달성하며, 과정의 차원성과는 무관하다.
• 약한 신호 조건 하에서도 패턴 복원에서 가짜 양성 비율(FPR)과 가짜 음성 비율(FNR)이 渐진적으로 0에 수렴하며, 최소한의 신호 강도 조건이 필요하지 않다.
• 유한 표본에서 ℓ²-정규화된 최소제곱 추정기 및 비정형 최대우도추정기보다 추정 오차와 구조 복원 성능 측면에서 뛰어나다.
• 임계값 처리된 추정량에 대해 FNR은 $ 2^\beta L_d u_{\sharp}^\beta $ 로 유계이며, 적절한 매끄러움과 희소성 조건 하에서 $ u_{\sharp} \to 0 $ 일 때 0으로 수렴한다.
• 이론적 분석을 통해 진짜 전이행렬이 희소성과 매끄러움 조건을 만족하는 클래스 $ \mathcal{G}_\alpha(s, M_d) $ 에 속할 경우 추정기가 일관성을 유지함을 확인하였다.
• 주가 및 환율 자료에 대한 실증 결과는 이 방법이 실제 고차원 데이터에서 의미 있는 시간에 따라 변하는 의존 구조를 효과적으로 복원할 수 있음을 확인한다.