[논문 리뷰] Estimation for Latent Factor Models for High-Dimensional Time Series

Clifford Lam, Qiwei Yao외 1명|arXiv (Cornell University)|2010. 04. 13.

Financial Risk and Volatility Modeling참고 문헌 23인용 수 4

한 줄 요약

이 논문은 변수 수 $ p $가 표본 크기 $ n $를 초과할 수 있는 고차원 시계열에 대해 인과모델을 제안한다. $ p \times p $ 정의된 양의 정부호 행렬의 고유분석을 사용하여 인과부하와 정밀도 행렬을 추정하며, $ p $에 대한 수렴 속도에 영향을 받지 않는 $ L_2 $-일致성을 달성하여 강한 인과 조건 하에서 차원의 저주를 효과적으로 제거한다.

ABSTRACT

This paper deals with the dimension reduction for high-dimensional time series based on common factors. In particular we allow the dimension of time series $p$ to be as large as, or even larger than, the sample size $n$. The estimation for the factor loading matrix and the factor process itself is carried out via an eigenanalysis for a $p imes p$ non-negative definite matrix. We show that when all the factors are strong in the sense that the norm of each column in the factor loading matrix is of the order $p^{1/2}$, the estimator for the factor loading matrix, as well as the resulting estimator for the precision matrix of the original $p$-variant time series, are weakly consistent in $L_2$-norm with the convergence rates independent of $p$. This result exhibits clearly that the `curse' is canceled out by the `blessings' in dimensionality. We also establish the asymptotic properties of the estimation when not all factors are strong. For the latter case, a two-step estimation procedure is preferred accordingly to the asymptotic theory. The proposed methods together with their asymptotic properties are further illustrated in a simulation study. An application to a real data set is also reported.

연구 동기 및 목표

• 변수 수 $ p $가 표본 크기 $ n $를 초과할 수 있는 고차원 시계열에서의 차원 축소 문제를 다루는 것.
• 대규모 인과모델에서 인과부하와 정밀도 행렬을 추정하기 위한 통계적으로 타당하고 계산적으로 실현 가능한 방법을 개발하는 것.
• 강한 인과 조건과 약한 인과 조건 하에서 추정의 점근적 이론을 수립하는 것, 특히 $ p \to \infty $ 조건에서의 성능을 분석하는 것.
• 伝통적인 경제계량학적 인과모델이 $ p \to \infty $일 때 점근적 식별성에 의존하는 반면, 이 모델은 유한한 $ p $에 대해서도 식별 가능하도록 하는 것.
• 특히 $ p > n $ 조건에서의 성능을 시뮬레이션과 실데이터 적용을 통해 검증하여 방법의 강건성과 효율성을 입증하는 것.

제안 방법

• 인과부하 행렬과 인과과정을 추정하기 위해 $ p \times p $ 비음성 행렬의 고유분석을 활용한다.
• 관측된 $ p $차원 시계열을 저차원 인과에 의해 구동되는 동적 부분과 벡터 백색잡음으로 모델링된 정적 부분으로 분해한다.
• 관측 시계열의 표본 공분산 행렬을 고유분석의 기초로 사용하여, $ p > n $ 조건에서도 추정이 가능하도록 한다.
• 모든 인과가 강하지 않은 경우, 점진적 성질과 추정 정확도를 향상시키기 위해 이단계 추정 절차를 적용한다.
• 행렬 노름 부등식과 농도 경계를 활용하여 인과부하 추정자와 정밀도 행렬 추정자의 $ L_2 $-노름에서의 수렴 속도를 유도한다.
• 규칙성 조건 하에서 정밀도 행렬 추정자의 일치성을 확립하며, 강한 인과 조건 하에서는 $ p $에 영향을 받지 않는 수렴 속도를 보임을 보여준다.

실험 결과

연구 질문

• RQ1 변수 수 $ p $가 표본 크기 $ n $를 초과할 경우, 인과모델을 일관적으로 추정할 수 있는가? 만약 가능하면 어떤 조건에서 가능한가?
• RQ2 변수 수 $ p \to \infty $ 조건 하에서 인과부하 행렬과 정밀도 행렬의 추정은 어떻게 행동하는가?
• RQ3 인과 강도(인과부하 행렬의 열의 노름으로 정의됨)는 추정자의 수렴 속도에 어떤 영향을 미치는가?
• RQ4 고차원 시계열 인과모델에서 차원의 저주를 어떻게 완화할 수 있는가?
• RQ5 모든 인과가 강하지 않은 경우 최적의 추정 전략은 무엇이며, 이는 일단계 방법과 비교해 어떻게 다른가?

주요 결과

• 모든 인과가 강할 경우(즉, 인과부하 행렬의 각 열의 노름이 $ \sim p^{1/2} $ 수준), 인과부하 추정자는 $ L_2 $-노름에서 약한 일致성을 보이며, 이는 $ p $에 영향을 받지 않는 수렴 속도를 가진다.
• 동일한 강한 인과 조건 하에서 원래의 $ p $변량 시계열의 정밀도 행렬 추정자 역시 $ L_2 $-노름에서 약한 일치성을 보인다.
• 두 추정자의 수렴 속도는 $ p $에 영향을 받지 않으며, 이는 고차원성의 '복수'가 차원의 저주를 상쇄함을 보여준다.
• 약한 인과가 존재하는 경우, 이단계 추정 절차가 필요하며, 이는 이론적 분석과 시뮬레이션 결과를 통해 점진적으로 우월함을 입증된다.
• 정밀도 행렬의 추정 오차는 $ O_P(p^{1-\nu} \|\widehat{\mathbf{A}} - \mathbf{A}\|) $이며, 여기서 $ \nu $는 인과의 강도에 따라 달라지며, 이 속도는 인과부하 추정 오차에 의해 제어된다.
• 고유분석을 $ p \times p $ 행렬에 적용함으로써 고차원 행렬의 역행렬 계산을 피함으로써, $ p $가 수천 수준일 경우에도 계산적으로 실현 가능하다.