[논문 리뷰] Bootstrap confidence sets for spectral projectors of sample covariance

Alexey Naumov, Vladimir Spokoiny외 1명|arXiv (Cornell University)|2017. 03. 02.

Statistical Methods and Inference참고 문헌 9인용 수 7

한 줄 요약

이 논문은 고차원 설정에서 표본 공분산 행렬의 스펙트럴 프로젝터에 대한 날카운 confidence set을 구성하기 위한 비점근적 부트스트랩 절차를 제안한다. 가우시안 비교 및 반집중 부등식을 활용하여, 진짜 프로젝터와 경험적 프로젝터 간의 프로베니우스 노름 거리에 대한 부트스트랩 근사의 유한표본 오차 한계를 확립함으로써, 작은 표본과 큰 차원 조건에서도 신뢰할 수 있는 추론이 가능하게 한다.

ABSTRACT

Let $X_{1},\ldots,X_{n}$ be i.i.d. sample in $\mathbb{R}^{p}$ with zero mean and the covariance matrix $\mathbfΣ$. The problem of recovering the projector onto an eigenspace of $\mathbfΣ$ from these observations naturally arises in many applications. Recent technique from [Koltchinskii, Lounici, 2015] helps to study the asymptotic distribution of the distance in the Frobenius norm $\| \mathbf{P}_r - \widehat{\mathbf{P}}_r \|_{2}$ between the true projector $\mathbf{P}_r$ on the subspace of the $r$-th eigenvalue and its empirical counterpart $\widehat{\mathbf{P}}_r$ in terms of the effective rank of $\mathbfΣ$. This paper offers a bootstrap procedure for building sharp confidence sets for the true projector $\mathbf{P}_r$ from the given data. This procedure does not rely on the asymptotic distribution of $\| \mathbf{P}_r - \widehat{\mathbf{P}}_r \|_{2}$ and its moments. It could be applied for small or moderate sample size $n$ and large dimension $p$. The main result states the validity of the proposed procedure for finite samples with an explicit error bound for the error of bootstrap approximation. This bound involves some new sharp results on Gaussian comparison and Gaussian anti-concentration in high-dimensional spaces. Numeric results confirm a good performance of the method in realistic examples.

연구 동기 및 목표

• 표본 크기가 작거나 중간이고 차원이 클 때 표본 공분산 행렬의 스펙트럴 프로젝터에 대한 신뢰집합을 구성하기 위한 유효한 부트스트랩 절차를 개발하기 위해.
• 일반적으로 고차원 설정에서 신뢰할 수 없는 점근적 분포와 그 모멘트에 의존하지 않도록 하기 위해.
• 특히 고차원 가우시안 공간에서의 유한표본 부트스트랩의 타당성을 명시적인 오차 한계와 함께 확립하기 위해.
• 실제 표본 조건에서 실용적인 조건 하에 고유부공간에 대한 추론을 향상시키기 위해 날카운 confidence set을 제공함으로써 공분산 행렬의 고유부공간에 대한 추론을 향상시키기 위해.
• 이론적 보장을 뒷받침하기 위해 고차원에서의 가우시안 비교 및 반집중에 대한 새로운 날카운 결과를 도출하기 위해.

제안 방법

• 데이터의 경험적 분포로부터 재표본을 추출하는 비점근적 부트스트랩 프레임워크를 사용하여 스펙트럴 프로젝터의 표본분포를 근사한다.
• 경험적 공분산 및 진짜 공분산 연산자에 관여하는 선형 및 비선형 항으로 프로젝터 차이를 분해한다.
• 부트스트랩 세계에서의 농도 부등식을 적용하여 부트스트랩 프로젝터가 그 기대값에서 벗어나지 않도록 제어한다.
• 가우시안 비교 부등식을 사용하여 부트스트랩과 프로젝터 거리의 가우시안 근사 간의 차이를 제한한다.
• 차원에 의존하지 않는 반집중 부등식을 도입하여 고차원 가우시안 벡터의 제곱 노름에 대해, 오직 두 번째로 큰 고유값에만 의존한다.
• 진짜 공분산 행렬의 유효 랭크와 고유값 구조를 사용하여 부트스트랩 근사의 명시적 오차 한계를 유도한다.

실험 결과

연구 질문

• RQ1 점근적 근사에 의존하지 않고 스펙트럴 프로젝터에 대한 유효한 신뢰집합을 제공하는 부트스트랩 절차를 구성할 수 있는가?
• RQ2 프로젝터 차이의 프로베니우스 노름에 대한 부트스트랩 근사의 유한표본 오차 한계는 무엇인가?
• RQ3 고차원 설정에서 가우시안 비교 및 반집중 부등식을 어떻게 활용하여 날카운 한계를 도출할 수 있는가?
• RQ4 표본 크기가 작고 차원이 클 경우 이 방법이 어느 정도 유효하게 유지되는가?
• RQ5 일반적인 공분산 구조 하에서 명시적인 오차 제어와 함께 이론적으로 부트스트랩 절차를 정당화할 수 있는가?

주요 결과

• 제안된 부트스트랩 절차는 오차 한계가 $ \diamondsuit_3 \asymp m_r \frac{\operatorname{Tr}^3 \mathbf{\Sigma}}{\overline{g}_r^3} \sqrt{\frac{\log^3 n}{n} + \frac{\log^3 p}{n}} $ 인 유한표본 타당성을 확보하며, 이는 부트스트랩 근사의 편차를 제어한다.
• 이 방법은 $ \mathbb{P} $-확률이 최소 $ 1 - \frac{1}{n} $ 이상인 $ \mathbf{P}_r $에 대해 날카운 confidence set을 제공하여 높은 신뢰성을 확보한다.
• 오차 한계는 고유값의 첫 두 개에만 의존하는 고차원 가우시안 벡터의 제곱 노름에 대한 새로운 반집중 부등식을 포함한다.
• 부트스트랩 근사 오차는 양방향 부등식을 통해 제한된다: $ \mathbb{P}^\circ(n\|\mathbf{P}_r^\circ - \widehat{\mathbf{P}}_r\|_2^2 > x) \leq \mathbb{P}^\circ(\|\xi^\circ\|_2^2 \geq x_-) + \frac{1}{n} $ 및 $ \geq \mathbb{P}^\circ(\|\xi^\circ\|_2^2 \geq x_+) - \frac{1}{n} $, 여기서 $ x_\pm = x \pm \diamondsuit_3 $.
• 이론적 결과는 현실적인 고차원 설정에서 양호한 성능을 보이는 수치 실험으로 지지된다.
• 이 방법은 고차원성과 작은 표본 크기에 대해 강건하여, 주성분 분석 및 고차원 추론과 같은 현대 통계 응용에 적합하다.