[논문 리뷰] Eigenvalue distribution of large sample covariance matrices of linear processes

Oliver Pfaffel, Eckhard Schlemm|arXiv (Cornell University)|2012. 01. 18.

Random Matrices and Applications참고 문헌 12인용 수 15

한 줄 요약

이 논문은 시간적으로 종속성이 있는 데이터, 예를 들어 ARMA 또는 분수적 통합 과정과 같은 선형 과정을 통해, 대규모 표본 공분산 행렬의 점근적 스펙트럼 분포(LSD)를 유도한다. 랜덤 행렬 이론을 사용하여, LSD가 과정의 스펙트럼 밀도와 비율 $ y = \lim n/p $에 의존함을 보이며, 고전적인 Marchenko-Pastur 법칙을 종속 데이터로 일반화한다.

ABSTRACT

We derive the distribution of the eigenvalues of a large sample covariance matrix when the data is dependent in time. More precisely, the dependence for each variable $i=1,...,p$ is modelled as a linear process $(X_{i,t})_{t=1,...,n}=(\sum_{j=0}^\infty c_j Z_{i,t-j})_{t=1,...,n}$, where $\{Z_{i,t}\}$ are assumed to be independent random variables with finite fourth moments. If the sample size $n$ and the number of variables $p=p_n$ both converge to infinity such that $y=\lim_{n o\infty}{n/p_n}>0$, then the empirical spectral distribution of $p^{-1}\X\X^T$ converges to a non\hyp{}random distribution which only depends on $y$ and the spectral density of $(X_{1,t})_{t\in\Z}$. In particular, our results apply to (fractionally integrated) ARMA processes, which we illustrate by some examples.

연구 동기 및 목표

• 시간적으로 종속성이 있는 데이터에서 고차원 표본 공분산 행렬에 대해 고전적인 Marchenko-Pastur 법칙을 확장하는 것.
• 각 행이 약한 종속성을 가진 창시자들에 의해 생성되는 선형 과정을 따르는 $ \mathbf{X} $의 경우, $ p^{-1} \mathbf{X} \mathbf{X}^T $의 점근적 스펙트럼 분포(LSD)를 특성화하는 것.
• LSD가 기저 선형 과정의 스펙트럼 밀도와 비율 $ y = \lim n/p $에만 의존함을 입증하는 것.
• ARMA(1,1) 및 분수적 통합 과정과 같은 경우에 대해 LSD의 스텔리지 변환에 대한 명시적 공식을 제공하는 것.

제안 방법

• 각 변수를 $ X_{i,t} = \sum_{j=0}^\infty c_j Z_{i,t-j} $로 모델링하며, $ \{Z_{i,t}\} $는 유한한 네 번째 모멘트를 가지며 Lindeberg 조건을 만족하는 i.i.d. 확률 변수이다.
• 선형 과정의 스펙트럼 밀도 $ f(\omega) $를 LSD의 결정에 핵심 입력으로 사용한다.
• 스펙트럼 밀도 $ f(\omega) $를 포함하는 비선형 방정식을 통해 LSD의 스텔리지 변환 $ m_z $을 유도한다. 특히 $ \frac{1}{m_z} = -z + y \int_{\lambda_-}^{\lambda_+} \frac{\lambda g(\lambda)}{1 + \lambda m_z} d\lambda $로 표현되며, $ g(\lambda) $는 $ f(\omega) $로부터 유도된 고유값 밀도이다.
• 스텔리지–페로인 역행렬 공식을 적용하여 LSD를 그 스텔리지 변환으로부터 복원한다.
• ARMA(1,1) 및 분수적 통합 ARMA 과정에 대해 일반 결과를 특수화하여, $ f(\omega) $ 및 해당 LSD에 대한 명시적 표현을 유도한다.
• 시뮬레이션을 통한 수치적 검증을 수행하여, ARMA(1,1) 과정에 대해 경험적 고유값 히스토그램과 이론적 LSD 간의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 고차원 데이터에서 시간적 종속성이 표본 공분산 행렬의 고유값 분포에 어떻게 영향을 미치는가?
• RQ2 Marchenko-Pastur 법칙은 ARMA와 같은 선형 과정과 같은 종속 데이터 구조로 일반화될 수 있는가?
• RQ3 데이터가 약한 종속성을 가진 창시자들에 의해 생성되는 선형 과정을 따를 경우, $ p^{-1} \mathbf{X} \mathbf{X}^T $의 점근적 스펙트럼 분포는 무엇인가?
• RQ4 기저 시계열의 스펙트럼 밀도가 표본 공분산 행렬의 LSD에 어떻게 영향을 미치는가?

주요 결과

• $ p^{-1} \mathbf{X} \mathbf{X}^T $의 경험적 스펙트럼 분포가 거의 확실히 $ y = \lim n/p $와 선형 과정의 스펙트럼 밀도 $ f(\omega) $에만 의존하는 비확률적 한계로 수렴함을 보였다.
• ARMA(1,1) 과정의 경우 LSD가 명시적으로 유도되었으며, 스텔리지 변환은 매개변수 $ \vartheta $와 $ \varphi $를 포함하는 사차방정식을 만족하며, 결과로 얻어진 밀도는 $ (\lambda_-, \lambda_+) $에서 유계이자 연속적이다.
• $ \varphi = 0 $인 경우 결과는 MA(1) 과정으로 줄어들며, $ \vartheta = 0 $인 경우는 AR(1) 과정이 되며, 둘 다 해석 가능한 LSD를 제공한다.
• 분수적 통합 ARMA 과정에서 $ d < 0 $인 경우에도 LSD는 동일한 프레임워크로 특성화되며, 스펙트럼 밀도 $ f(\omega) = \left| \frac{b(e^{i\omega})}{a(e^{i\omega})} \right|^2 |1 - e^{-i\omega}|^{-2d} $를 사용한다.
• 수치적 비교 결과, 다양한 $ y = n/p $ 값에 대해 ARMA(1,1) 과정의 경험적 고유값 히스토그램과 이론적 LSD 사이에 강한 일치가 관찰되었다.
• 유도된 LSD는 고전적인 Marchenko-Pastur 법칙을 종속 데이터로 일반화하며, 고차원 설정에서 시간적 종속성에 의해 유도되는 편향을 보정한다.