[논문 리뷰] Multivariate Analysis of Nonparametric Estimates of Large Correlation Matrices

Ritwik Mitra, Cun‐Hui Zhang|arXiv (Cornell University)|2014. 03. 24.

Random Matrices and Applications참고 문헌 34인용 수 22

한 줄 요약

이 논문은 높은 차원 설정에서 가우시안 코풀라 모형 하에서 비모수적 추정기의 스펙트럴 노름 집중 경계를 확립한다. 주로 사인 변환을 거친 켄달의 타우와 스피어만의 rho를 다루며, 이러한 추정기들이 오рак루 샘플 공분산 행렬과 유사한 스펙트럴 오차율을 달성함으로써, 밴들러블 공분산 행렬의 미니맥스 최적 추정과 희소 주성분 분석을 가능하게 한다.

ABSTRACT

We study concentration in spectral norm of nonparametric estimates of correlation matrices. We work within the confine of a Gaussian copula model. Two nonparametric estimators of the correlation matrix, the sine transformations of the Kendall's tau and Spearman's rho correlation coefficient, are studied. Expected spectrum error bound is obtained for both the estimators. A general large deviation bound for the maximum spectral error of a collection of submatrices of a given dimension is also established. These results prove that when both the number of variables and sample size are large, the spectral error of the nonparametric estimators is of no greater order than that of the latent sample covariance matrix, at least when compared with some of the sharpest known error bounds for the later. As an application, we establish the minimax optimal convergence rate in the estimation of high-dimensional bandable correlation matrices via tapering off of these nonparametric estimators. An optimal convergence rate for sparse principal component analysis is also established as another example of possible applications of the main results.

연구 동기 및 목표

• 기저 데이터가 가우시안 코풀라 모형을 따를 때 비모수적 공분산 행렬 추정기—켄달의 타우와 스피어만의 rho의 정확도를 분석하기 위해.
• 변수 수 $d$와 표본 크기 $n$이 모두 큰 고차원 설정에서 이러한 추정기의 스펙트럴 노름 집중 경계를 확립하기 위해.
• 기타 알려진 오차 경계 하에서 비모수적 추정기의 스펙트럴 오차가 오라클 샘플 공분산 행렬의 오차보다 크지 않은 순서로 제한됨을 보여주기 위해.
• 비모수적 추정기의 타이퍼링을 통한 고차원 밴들러블 공분산 행렬 추정의 최소최대 최적 수렴 속도를 유도하기 위해.
• 희소 주성분 분석과 같은 응용 분야로 결과를 확장하여, 이러한 비모수적 추정기를 사용할 경우 최적 수렴 속도를 달성할 수 있음을 보여주기 위해.

제안 방법

• 비관측 잠재 변수 $\boldsymbol{X}$ 를 모델링하기 위해 가우시안 코풀라 모형을 사용하며, 관측 데이터 $\boldsymbol{Y}$ 는 $\boldsymbol{X}$ 의 알려지지 않은 엄격한 증가 함수 변환으로 간주된다.
• 두 가지 비모수적 추정기—$\widehat{\boldsymbol{\Sigma}}^{\tau}$ (사인 변환을 거친 켄달의 타우)와 $\widehat{\boldsymbol{\Sigma}}^{\rho}$ (사인 변환을 거친 스피어만의 rho)를 분석하며, 이들은 모두 유계 커널을 가진 U통계량 기반이다.
• 헤프딩 부등식과 리프시츠 함수에 대한 측도 집중 이론을 적용하여 추정 오차의 스펙트럴 노름에 대한 대규모 이탈 경계를 유도한다.
• 헤프딩 분해를 사용하여 추정 오차를 일阶성과 비퇴화된 이阶성 성분으로 분리함으로써 꼬리 확률 경계를 가능하게 한다.
• 행렬 집중 부등식과 스펙트럴 노름 제어를 활용하여 주어진 크기의 부분행렬들에 대한 최대 스펙트럴 오차를 제한한다.
• 결과를 적용하여 비모수적 추정기의 타이퍼링을 통한 밴들러블 공분산 행렬 추정의 최소최대 최적 수렴 속도와 희소 주성분 분석을 위한 결과를 도출한다.

실험 결과

연구 질문

• RQ1 고차원 설정에서 비모수적 공분산 행렬 추정기의 추정 오차 스펙트럴 노름은 어떻게 행동하는가?
• RQ2 켄달의 타우와 스피어만의 rho와 같은 비모수적 추정기의 스펙트럴 오차는 오라클 샘플 공분산 행렬의 성능을 따라잡을 수 있는 방식으로 경계될 수 있는가?
• RQ3 비모수적 추정기를 사용하여 고차원 밴들러블 공분산 행렬을 추정할 때의 최소최대 최적 수렴 속도는 무엇인가?
• RQ4 제안된 비모수적 추정기는 희소 주성분 분석에서 최적 수렴 속도를 달성할 수 있는가?
• RQ5 가우시안 코풀라 모형은 잠재 변수 가정 하에서 비모수적 공분산 추정기 분석을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 켄달의 타우와 스피어만의 rho 추정기의 기대 스펙트럴 오차는 $O\left(\frac{\|\boldsymbol{\Sigma}\|_F^2}{n}\right)$ 으로 경계되며, 두 추정기 모두 상수 $C_1 \leq 2$ 를 가진다.
• 모든 $s \times s$ 부분행렬에 대한 최대 스펙트럴 오차에 대한 일반적인 대규모 이탈 경계가 확립되었으며, $\mathbb{P}\left(\|\boldsymbol{\Delta}^{(1)}\|_S > t\right) \leq 4d^2 e^{-t}$ 를 만족한다. 여기서 $t = s(2\log 2d + t)$ 이다.
• 기타 알려진 경계 하에서 비모수적 추정기의 스펙트럴 오차는 오라클 샘플 공분산 행렬 $\widetilde{\boldsymbol{\Sigma}}^s$ 의 오차와 같은 순서이다.
• 밴들러블 공분산 행렬의 경우, 비모수적 추정기의 타이퍼링이 스펙트럴 노름에서 최소최대 최적 수렴 속도를 달성한다.
• 적절한 희소성 가정 하에서 오차가 $O(\sqrt{s \log d / n})$ 로 스케일링되는 바탕으로, 비모수적 추정기를 사용한 희소 주성분 분석에 대해 최적 수렴 속도가 확립되었다.
• 켄달의 타우와 스피어만의 rho의 사인 변환은 스펙트럴 구조를 충분히 잘 유지하여 고차원 모델에서 최적 추정이 가능하게 한다.