[논문 리뷰] Large Covariance Estimation through Elliptical Factor Models

Jianqing Fan, Han Liu외 1명|arXiv (Cornell University)|2015. 07. 30.

Advanced Statistical Methods and Models참고 문헌 68인용 수 26

한 줄 요약

이 논문은 타원 인자 모형 하에서 극도로 꼬인 꼬리 분포를 가진 데이터를 고려하여, 조건부 희박성 하에서 최적 수렴 속도를 유지하는 강건한 주성분 보완 임계값 설정(POET) 프레임워크를 제안한다. 모서리 및 다변량 켄달의 타우를 활용함으로써, 오차와 인자 모두가 꼬리가 두꺼운 타원 분포를 따를 경우에도 정확한 추정이 가능해진다.

ABSTRACT

We proposed a general Principal Orthogonal complEment Thresholding (POET) framework for large-scale covariance matrix estimation based on an approximate factor model. A set of high level sufficient conditions for the procedure to achieve optimal rates of convergence under different matrix norms were brought up to better understand how POET works. Such a framework allows us to recover the results for sub-Gaussian in a more transparent way that only depends on the concentration properties of the sample covariance matrix. As a new theoretical contribution, for the first time, such a framework allows us to exploit conditional sparsity covariance structure for the heavy-tailed data. In particular, for the elliptical data, we proposed a robust estimator based on marginal and multivariate Kendall's tau to satisfy these conditions. In addition, conditional graphical model was also studied under the same framework. The technical tools developed in this paper are of general interest to high dimensional principal component analysis. Thorough numerical results were also provided to back up the developed theory.

연구 동기 및 목표

• 서브-가우시안 또는 가우시안 오차를 가정하는 기존의 인자 모형 기반 공분산 추정 방법의 한계를 해결한다.
• 인자와 개별 오차 모두에 대해 타원 분포를 고려함으로써 POET 프레임워크를 꼬리가 두꺼운 데이터로 확장한다.
• 고차원 설정에서 조건부 희박성 하에서도 최적 수렴 속도를 유지하는 강건한 추정 절차를 개발한다.
• 타원 분포 하에서 두 번째 모멘트 대신 순위 기반 추정량(켄달의 타우)을 사용하는 데 대한 이론적 근거를 제공한다.
• 동일한 강건한 프레임워크 내에서 조건부 그래픽 모델과 공분산 추정을 통합한다.

제안 방법

• 조건부 희박성을 가진 근사 인자 모형 하에서 대규모 공분산 추정을 위한 일반적인 POET 프레임워크를 제안한다.
• 꼬리가 두꺼운 데이터를 가진 고차원 설정에서 표본 공분산을 대체하기 위해 단일 및 다변량 켄달의 타우 기반의 강건한 추정량을 도입한다.
• 표본 공분산 행렬의 농도 성질에 기반하여, 다양한 행렬 노름 하에서 최적 수렴 속도를 확보하기 위한 충분조건을 수립한다.
• 한슨-하트 정리를 사용하고 서브-가우시안 尾 확률 바ounds를 적용하여 이차 형식에 대한 고확률 바ounds를 유도함으로써, 약한 모멘트 가정 하에서도 이론적 분석이 가능하도록 한다.
• 잠재 인자에 의해 유도되는 조건부 희박성 구조를 활용하여 조건부 그래픽 모델에 프레임워크를 적용한다.
• 타원 분포 가정을 활용하여 순위 기반 통계량(켄달의 타우)이 두 번째 모멘트의 강건한 대체량으로 사용될 수 있음을 정당화한다.

실험 결과

연구 질문

• RQ1 조건부 희박성 하에서 타원 분포를 따르는 꼬리가 두꺼운 데이터에 대해 POET 프레임워크를 확장하여 최적 수렴 속도를 유지할 수 있는가?
• RQ2 켄달의 타우와 같은 강건한 순위 기반 추정량은 조건부 희박성과 꼬리가 두꺼운 분포 하에서 최적의 공분산 추정을 어떻게 달성할 수 있는가?
• RQ3 제안된 강건한 추정량의 최적 수렴 속도를 보장하기 위한 인자 모형과 오차 구조에 대한 충분조건는 무엇인가?
• RQ4 개별 오차 공분산 행렬의 조건부 희박성 구조가 고차원 설정에서 추정 정확도를 어느 정도 향상시키는가?
• RQ5 동일한 이론적 프레임워크를 타원 분포 하에서 조건부 그래픽 모델을 추정하는 데 적용할 수 있는가?

주요 결과

• 켄달의 타우 기반의 제안된 강건한 POET 추정량은 타원 인자 모형 하에서 스펙트럴 노름과 프로베니우스 노름 모두에서 최적 수렴 속도를 달성한다.
• 표본 공분산 행렬의 농도 성질에만 기반하여, 서브-가우시안 데이터에 대한 기존 결과를 더 명확하게 복원한다.
• 이론적으로 처음으로, 순위 기반 방법을 사용하여 꼬리가 두꺼운 데이터에 대해 조건부 희박성 하에서 최적 추정을 확립한다.
• 한슨-하트 정리와 서브-가우시안 尾 가정을 활용하여 이차 형식에 대한 고확률 바ounds를 도출함으로써, 약한 모멘트 조건 하에서도 이론적 보장을 가능하게 한다.
• 이론적 분석은 다변량 켄달의 타우가 고차원에서 고유공간과 공분산 행렬의 일관된 추정을 제공함을 확인한다.
• 수치 결과는 강력한 경험적 성능을 보이며, 이론적 결과를 검증하고 꼬리가 두꺼운 분포 하에서 제안된 방법의 강건성을 뒷받침한다.