[논문 리뷰] An Overview on the Estimation of Large Covariance and Precision Matrices

Jianqing Fan, Yuan Liao외 1명|arXiv (Cornell University)|2015. 04. 12.

Advanced Statistical Methods and Models참고 문헌 79인용 수 9

한 줄 요약

이 논문은 차원 수가 표본 크기를 초과하는 고차원 설정에서 큰 공분산 및 정밀 행렬을 추정하는 현대적 방법에 대한 종합적인 리뷰를 제공한다. 주로 질서 기반 및 인자 모델 기반 접근법에 초점을 맞추며, 체중이 무거운 타원 분포 하에서 강건한 질서 기반 추정량이 거의 최적의 수렴 속도를 달성함을 보여준다. 또한 인자 모델은 공통 요인 존재 시 저질서 합성 분해를 통해 효율적인 추정을 가능하게 한다.

ABSTRACT

Estimating large covariance and precision matrices are fundamental in modern multivariate analysis. The problems arise from statistical analysis of large panel economics and finance data. The covariance matrix reveals marginal correlations between variables, while the precision matrix encodes conditional correlations between pairs of variables given the remaining variables. In this paper, we provide a selective review of several recent developments on estimating large covariance and precision matrices. We focus on two general approaches: rank based method and factor model based method. Theories and applications of both approaches are presented. These methods are expected to be widely applicable to analysis of economic and financial data.

연구 동기 및 목표

• 차원 수가 표본 크기를 초과할 때 큰 공분산 및 정밀 행렬을 추정하는 데 도전하는 것.
• 비정규, 체중이 무거운 데이터 하에서 강건한 추정을 위한 질서 기반 방법과 공통 의존성 구조를 모델링하기 위한 인자 모델 기반 방법이라는 두 가지 주요 접근법을 검토하고 비교하는 것.
• 이러한 방법의 이론적 성질과 경제학, 금융, 고차원 통계 분야에서의 실용적 응용을 제시하는 것.
• 인자 모델과 질서 기반 방법의 통합이 강건한 고차원 공분산 추정을 위한 미래의 유망한 방향임을 부각하는 것.

제안 방법

• 논문은 ℓ1-벌점화된 우도와 비볼록 페널티를 사용한 희박 공분산 및 정밀 행렬 추정을 위한 임계값 기반 추정을 검토한다.
• 타원 분포 하에서 강건한 상관계수 행렬을 구성하기 위해 켄달의 타우 상관계수를 사용하는 질서 기반 추정량인 EPIC 및 EC2를 도입한다.
• 인자 모델의 경우, 공분산 행렬을 저질서 성분(공통 요인)과 희박 성분(특이 오차)으로 분해하며, 주성분 분석 또는 강건한 주성분 분석을 통해 추정한다.
• 이 방법은 두 단계 추정을 사용한다: 먼저 요인과 로딩(또는 잔차)을 추정하고, 그 다음 잔차의 질서 기반 상관계수 행렬에 대해 임계값 처리를 적용하여 희박성을 확보한다.
• 유효하고 희박한 공분산 추정량를 얻기 위해 가장 가까운 정규화된 양의 정부호 행렬 투영과 임계값 처리 규칙을 활용한다.
• 잠재적 요인의 경우, 관측 데이터의 질서 기반 공분산 행렬에 대해 강건한 주성분 분석을 적용하여 공통 요인을 추정하고, 그 다음 잔차를 추출하며 오차 공분산을 추정한다.

실험 결과

연구 질문

• RQ1 차원 수가 표본 크기를 초과할 경우, 어떻게 큰 공분산 행렬을 일관적으로 추정할 수 있는가?
• RQ2 체중이 무거운 타원 분포 하에서 질서 기반 추정량의 이론적 성질과 수렴 속도는 무엇인가?
• RQ3 공통 요인이 존재할 경우, 인자 모델을 어떻게 사용하여 고차원 공분산 행렬을 저질서 성분과 희박 성분으로 분해하여 추정을 향상시킬 수 있는가?
• RQ4 체중이 무거운 오차가 존재할 경우, 인자 모델과 질서 기반 강건성의 하이브리드 추정량의 성능은 어떠한가?
• RQ5 질서 기반 상관계수 행렬에 대해 임계값 처리를 적용하면 스펙트럼 노름에서 최적의 추정 속도를 달성할 수 있는가?

주요 결과

• EPIC 및 EC2와 같은 질서 기반 추정량은 체중이 무거운 데이터가 존재하더라도 타원 분포 하에서 스펙트럼 노름에서 거의 최적의 수렴 속도를 달성한다.
• 이론적 분석을 통해 질서 기반 상관계수 행렬의 임계값 처리가 희박 정밀 행렬 및 공분산 행렬의 일관된 추정을 이끌어낸다는 것이 확인된다.
• 공통 요인이 관측 가능할 경우, 인자 모델 접근법과 강건한 회귀, 질서 기반 잔차 추정을 조합하면 최적의 수렴 속도를 가진 강건한 공분산 추정량을 얻을 수 있다.
• 공통 요인이 관측 불가능할 경우, 질서 기반 공분산 행렬에 대해 강건한 주성분 분석을 적용함으로써 요인 구조를 일관되게 추정할 수 있으며, 이는 총 공분산의 타당한 분해로 이어진다.
• 인자 모델과 질서 기반 추정의 하이브리드 접근법은 체중이 무거운 착오항을 가진 금융 및 경제 데이터에서 특히 효과적임이 입증된다.
• 피어슨 상관계수 대신 켄달의 타우를 사용함으로써 타원 분포에 대한 강건성이 확보되며, 변환 $\sin(\frac{\pi}{2}\tau)$를 통해 모집단 공분산 행렬을 복원할 수 있음을 논문이 입증한다.