[논문 리뷰] How close is the sample covariance matrix to the actual covariance matrix?

Roman Vershynin|arXiv (Cornell University)|2010. 04. 20.

Random Matrices and Applications참고 문헌 22인용 수 4

한 줄 요약

이 논문은 고차원 랜덤 벡터의 진짜 공분산 행렬을 연산자 노름에서 근사하기 위해 필요한 표본 크기 N을 조사하며, 네 번째 모멘트가 유한한 분포에 대해 N = O(n)이 로그 인자까지 충분함을 증명한다. 이는 하위지수 및 하위정규 분포에 대해 이전 결과를 향상시키며, 높은 확률로 표본 공분산 행렬이 (n/N)^{1/2 - 2/q} 의 속도로 진짜 공분산 행렬로 수렴함을 보여준다.

ABSTRACT

Given a probability distribution in R^n with general (non-white) covariance, a classical estimator of the covariance matrix is the sample covariance matrix obtained from a sample of N independent points. What is the optimal sample size N = N(n) that guarantees estimation with a fixed accuracy in the operator norm? Suppose the distribution is supported in a centered Euclidean ball of radius \sqrt{n}. We conjecture that the optimal sample size is N = O(n) for all distributions with finite fourth moment, and we prove this up to an iterated logarithmic factor. This problem is motivated by the optimal theorem of Rudelson which states that N = O(n \log n) for distributions with finite second moment, and a recent result of Adamczak, Litvak, Pajor and Tomczak-Jaegermann which guarantees that N = O(n) for sub-exponential distributions.

연구 동기 및 목표

• 진짜 공분산 행렬을 표본 공분산 행렬로 연산자 노름에서 오차 ε 이내로 높은 확률로 근사하기 위해 필요한 최소 표본 크기 N(n, ε)을 결정하는 것.
• 하위지수 분포에 대한 알려진 결과(N=O(n))와 유한한 네 번째 모멘트를 가진 일반 분포 사이의 격차를 메우며, N=O(n)이 최적이라는 추측을 검증하는 것.
• 하위정규 및 하위지수 분포를 넘어서, 오직 유한한 네 번째 모멘트만을 가진 일반 분포로 분석을 확장하는 것.
• 절단 및 모멘트 기반 기법을 사용하여 표본 공분산 행렬과 진짜 공분산 행렬의 차이의 연산자 노름에 대한 정밀한 농도 경계를 제공하는 것.

제안 방법

• 작은 계수와 큰 계수의 기여도로 추정 오차를 분해하기 위해 절단 논증을 사용한다.
• 유한한 q > 4에 대해 조건 (2.2)를 적용하여 尾행동을 제어하고 큰 계수에 대한 확률적 경계를 유도한다.
• 단위 랭크 투영의 합의 농도에 관한 정리 5.1을 적용하여 표본 공분산 행렬에서 큰 계수의 기여도를 제한한다.
• 횔더의 부등식과 마르코프의 부등식을 적용하여 임계값 B 이상의 제곱 계수의 기대값을 제어한다.
• 오차 분해에서 편향과 분산 항 간의 트레이드오프를 균형 잡기 위해 임계값 B = (N/n)^{2/q} 를 선택한다.
• 주항목 (I₁), 큰 계수 합 (I₂), 기대 큰 계수 기여도 (I₃)의 경계를 조합하여 최종 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 유한한 네 번째 모멘트를 가진 일반 분포에 대해 고정된 오차 ε 이내로 연산자 노름에서 진짜 공분산 행렬을 근사하기 위해 필요한 최적의 표본 크기 N(n)은 무엇인가?
• RQ2 유한한 네 번째 모멘트만을 가진 분포에 대해 N=O(n)이 달성 가능한가, 또는 더 큰 N이 필요한가?
• RQ3 표본 공분산 행렬의 수렴 속도는 기저 분포의 모멘트 구조에 따라 어떻게 달라지는가?
• RQ4 절단 및 모멘트 기반 농도 기법을 통해 하위정규 또는 하위지수 가정을 초월해 연산자 노름 경계를 얼마나 향상시킬 수 있는가?

주요 결과

• 유한한 q > 4 모멘트를 가진 분포에 대해, 표본 공분산 행렬은 높은 확률로 연산자 노름에서 (n/N)^{1/2 - 2/q} 의 속도로 진짜 공분산 행렬을 근사한다.
• 필요한 표본 크기는 (log log n)^2 인자까지 O(n)이지만, 일반적인 두 번째 모멘트 분포에 대해 이전의 O(n log n) 경계보다 향상된다.
• 분포가 O(√n) 반경의 유클리드 공 안에 포함된다는 조건 하에서 경계가 성립하며, 이는 고차원 농도에 자연스러운 조건이다.
• 분석 결과, 연산자 노름 오차는 차원 n, 표본 크기 N, 분포의 모멘트 순서 q 간의 상호작용에 의해 지배됨을 보여준다.
• 절단 기반 방법은 무거운 尾행동을 가진 계수의 기여도를 성공적으로 제어하여, 하위지수 분포에서 일반적인 유한 모멘트 분포로 결과를 확장하는 데 기여한다.