[논문 리뷰] Large Covariance Estimation by Thresholding Principal Orthogonal Complements

Jianqing Fan, Yuan Liao외 1명|arXiv (Cornell University)|2011. 12. 30.

Random Matrices and Applications참고 문헌 51인용 수 4

한 줄 요약

이 논문은 희박한 개별 오차를 가진 약간의 요인 모형 하에서 고차원 공분산 행렬을 추정하기 위해 주성분 보완 임계값 처리(POET) 방법을 제안한다. 공통 요인을 추출하기 위해 주성분 분석을, 잔차 공분산에서 희박성을 유도하기 위해 임계값 처리를 결합함으로써, POET는 여러 행렬 노름에서 최적의 수렴 속도를 달성하며, 차원 수가 증가함에 따라 추정 오차가 감소한다.

ABSTRACT

This paper deals with the estimation of a high-dimensional covariance with a conditional sparsity structure and fast-diverging eigenvalues. By assuming sparse error covariance matrix in an approximate factor model, we allow for the presence of some cross-sectional correlation even after taking out common but unobservable factors. We introduce the Principal Orthogonal complEment Thresholding (POET) method to explore such an approximate factor structure with sparsity. The POET estimator includes the sample covariance matrix, the factor-based covariance matrix (Fan, Fan, and Lv, 2008), the thresholding estimator (Bickel and Levina, 2008) and the adaptive thresholding estimator (Cai and Liu, 2011) as specific examples. We provide mathematical insights when the factor analysis is approximately the same as the principal component analysis for high-dimensional data. The rates of convergence of the sparse residual covariance matrix and the conditional sparse covariance matrix are studied under various norms. It is shown that the impact of estimating the unknown factors vanishes as the dimensionality increases. The uniform rates of convergence for the unobserved factors and their factor loadings are derived. The asymptotic results are also verified by extensive simulation studies. Finally, a real data application on portfolio allocation is presented.

연구 동기 및 목표

• 표본 공분산이 열악하게 작동하는 고차원 설정에서 큰 공분산 행렬을 추정하는 데 도전하는 것.
• 공통 요인을 제거한 후 잔차 상관관계를 고려하기 위해 개별 오차 공분산 행렬의 조건부 희박성을 가정하는 것.
• 기존의 방법들인 임계값 처리와 요인 기반 추정을 하나의 통합적이고 확장 가능한 접근법으로 일반화하는 프레임워크를 개발하는 것.
• 다양한 행렬 노름에서 추정된 공분산 및 정밀 행렬의 이론적 수렴 속도를 확립하는 것.
• 추정된 비관측 요인의 영향이 차원 수가 증가함에 따라 사라지며, 고차원 p 및 큰 T 환경에서 일致된 추정이 가능해지는 이유를 밝히는 것.

제안 방법

• 관측 변수가 저랭크 요인 구조와 희박한 오차 성분에 의존하는 약간의 요인 모형으로 고차원 데이터를 모델링하는 것.
• 데이터 행렬의 주성분 분석을 통해 첫 번째 K개 성분이 지배적인 변동을 설명한다고 가정하여 공통 요인을 추정하는 것.
• 요인 기반 변동을 제거한 후 주성분 보완(잔차 행렬)을 추출하여 개별 성분을 고립하는 것.
• 잔차 공분산 행렬에 임계값 처리를 적용하여 희박성을 강제로 유도하며, 조정 파rameter는 데이터 기반 절차로 선택하는 것.
• 두 단계 추정 절차를 사용: 먼저 요인 로딩 행렬과 공통 요인을 추정하고, 그 다음 잔차에 대해 임계값 처리를 적용하여 희박하고 일致된 추정자 확보.
• 고차원 점점 증가하는 점근적 조건 하에서 추정자의 점근적 성질을 유도하기 위해 Sherman-Morrison-Woodbury 공식과 행렬 편향 이론을 활용하는 것.

실험 결과

연구 질문

• RQ1 요인 모형과 희박성을 통합하여 고차원 공분산 추정을 향상시키는 통합 추정자 개발이 가능한가?
• RQ2 잔차 및 조건부 공분산 행렬에 대해 다양한 행렬 노름(Frobenius, operator, max 노름 등)에서 POET 추정자의 수렴 속도는 어떻게 되는가?
• RQ3 표본 크기 T에 비해 차원 수 p가 증가함에 따라 추정 오차가 비관측 요인과 그 로딩에 어떻게 영향을 미치는가?
• RQ4 p → ∞ 일 때 비관측 요인 추정의 영향이 어느 정도 감소하며, 어떤 조건에서 이 영향이 무시할 수 있는가?
• RQ5 POET 추정자는 표준 임계값 처리 및 요인 기반 추정과 비교해 이론적 일관성과 유한 표본 성능 측면에서 어떻게 다른가?

주요 결과

• POET 추정자는 Frobenius, operator, max 노름 하에서 희박한 잔차 공분산 행렬에 대해 최적의 수렴 속도를 달성하며, 이 속도는 희박성 수준과 고유값의 발산 정도에 따라 달라진다.
• 정밀 행렬 추정자의 수렴 속도는 $ O_p( au_{T}^{1-q} m_p) $ 이며, 여기서 $ m_p $ 는 희박성 수준을 측정하고 $ au_T $ 는 요인 추정 오차를 제어하는 데 쓰인다.
• 비관측 요인을 추정하는 데서 오는 영향은 차원 수가 증가함에 따라 점점 사라지며, 요인 추정 오차는 $ O_p( au_T) $ 의 속도로 감소한다.
• 비관측 요인과 그 로딩의 균일한 수렴 속도는 $ O_p( au_T) $ 이며, 여기서 $ au_T $ 는 신호 대 잡음 비율과 관련된 데이터 기반 조정 파rameter 이다.
• 시뮬레이션 연구는 고차원, 희박한 오차 구조 하에서 POET가 표준 임계값 처리 및 요인 기반 추정기보다 편향과 평균 제곱 오차 측면에서 뛰어나다는 것을 확인한다.
• 포트폴리오 할당에 대한 실데이터 응용에서 POET는 대안 추정기보다 더 안정적이고 다각화된 포트폴리오를 도출하여 실용적 유용성을 검증한다.