[논문 리뷰] The bootstrap, covariance matrices and PCA in moderate and high-dimensions

Noureddine El Karoui, Elizabeth Purdom|arXiv (Cornell University)|2016. 08. 02.

Random Matrices and Applications참고 문헌 33인용 수 12

한 줄 요약

이 논문은 p/n이 0에서 벗어나는 중간에서 고차원 설정에서 표본 공분산 행렬의 고유값에 대한 추론에 대한 부트스트랩의 신뢰성을 조사한다. 부트스트랩은 일반적으로 가장 큰 고유값이 다른 고유값들보다 현저히 클 경우를 제외하고는 표본 분포를 정확하게 추정하지 못하지만, 모집단 공분산 행렬이 약간의 질서를 가진 경우에 성공함을 보여준다.

ABSTRACT

We consider the properties of the bootstrap as a tool for inference concerning the eigenvalues of a sample covariance matrix computed from an $n imes p$ data matrix $X$. We focus on the modern framework where $p/n$ is not close to 0 but remains bounded as $n$ and $p$ tend to infinity. Through a mix of numerical and theoretical considerations, we show that the bootstrap is not in general a reliable inferential tool in the setting we consider. However, in the case where the population covariance matrix is well-approximated by a finite rank matrix, the bootstrap performs as it does in finite dimension.

연구 동기 및 목표

• p/n이 무시할 수 없는 고차원 설정에서 표본 공분산 행렬의 고유값에 대한 추론에 부트스트랩의 신뢰성을 평가하기 위해.
• 고정된 p 설정에서 이론적 보장이 있음에도 불구하고 현대적 고차원 점점 증가하는 설정에서 부트스트랩이 실패할 수 있는 이유를 이해하기 위해.
• p와 n이 증가하면서 p/n이 유한한 경우 부트스트랩이 여전히 유효한 조건을 규명하기 위해.
• 부트스트랩의 제한성과 고차원 주성분 분석에서의 때때로 성공하는 이유에 대한 이론적 및 실증적 근거를 제공하기 위해.
• 특히 질서와 분리 정도에 따라 고유값의 구조가 부트스트랩 성능에 미치는 영향을 명확히 하기 위해.

제안 방법

• 다양한 p/n 비율과 고유값 구성 조건에서 고유값의 표본 분포 추정 성능을 평가하기 위해 광범위한 몬테카를로 시뮬레이션을 수행한다.
• 백분위수 및 정규 기반 부트스트랩 신뢰구간을 사용하여 진짜 고유값과 고유값 간격의 커버리지 수준을 평가한다.
• 주요 주성분의 존재 여부를 테스트하기 위해 부트스트랩을 갭 통계량(λ₁ − λ₂)에 적용한다.
• 이론적 분석은 특히 모집단 공분산 행렬이 약간의 질서를 가진 경우에 고차원 점점 증가하는 설정에서 부트스트랩의 행동을 중심으로 한다.
• 모의 실험을 통해 구한 실측 추정치와 비교하여 부트스트랩을 통한 편향 및 분산 추정치의 정확도를 평가한다.
• 무작위 행렬 이론 도구를 사용하여 p/n → r ∈ (0,1) 영역에서 고유값과 고유벡터의 점점 증가하는 행동을 분석한다.

실험 결과

연구 질문

• RQ1 p/n이 0에서 벗어나는 경우, 표본 공분산 행렬의 고유값에 대한 부트스트랩이 정확한 추론을 제공하는가?
• RQ2 부트스트랩이 고차원 주성분 분석 설정에서 성공하거나 실패하는 조건은 무엇인가?
• RQ3 가장 큰 고유값의 크기와 분리 정도는 부트스트랩 성능에 어떤 영향을 미치는가?
• RQ4 첫 번째와 두 번째 고유값 간 갭의 표본 분포를 부트스트랩이 신뢰성 있게 추정할 수 있는가?
• RQ5 모집단 공분산 행렬이 약간의 질서를 가진 경우, 고차원에서도 부트스트랩이 유효한가?

주요 결과

• p/n이 0에서 벗어나는 경우, 특히 고유값들이 크기에서 유사할 경우 부트스트랩은 일반적으로 고유값의 표본 분포를 정확하게 추정하지 못한다.
• λ₁이 다른 고유값들보다 현저히 크지 않은 경우 진짜 가장 큰 고유값의 커버리지가 크게 떨어지며, 일부 경우(예: r=0.5, λ₁=1)에서는 커버리지가 0.00에까지 떨어진다.
• 가장 큰 고유값이 충분히 클 경우(예: λ₁=100√r), 부트스트랩 커버리지가 향상되어 시뮬레이션 전반에서 0.90–0.97 수준에 도달하며, 강한 신호 조건에서 성능 향상을 보인다.
• 갭 통계량(λ₁ − λ₂)의 경우, 진짜 갭이 0일 때 부트스트랩 신뢰구간의 커버리지가 매우 낮아져 많은 구성에서 0.00까지 떨어지며, 이는 높은 I형 오류 위험을 시사한다.
• 부트스트랩은 편향과 분산 추정에서 편향을 보일 수 있으며, 거의 동일한 모집단 설정에서도 과소 및 과대 추정이 발생할 수 있다.
• 부트스트랩은 오직 모집단 공분산 행렬이 약간의 질서를 가진 경우에만 신뢰성 있게 작동하며, 이는 몇몇 고유값이 스펙트럼에서 지배할 때 성립하며, 유한차원 부트스트랩 이론과 일치한다.