[논문 리뷰] Marchenko-Pastur law with relaxed independence conditions

Jennifer S. Bryson, Roman Vershynin외 1명|arXiv (Cornell University)|2019. 12. 29.

Random Matrices and Applications참고 문헌 43인용 수 7

한 줄 요약

이 논문은 표본 공분산 행렬에 대해 독립성 조건을 완화한 상황에서 Marchenko-Pastur 법칙을 확립하며, 두 모델에서 고전적인 극한 스펙트럼 분포로의 수렴을 증명한다: 블록 독립 모델(블록 내에서는 종속성이 있지만 블록 간에는 독립)과 무작위 텐서 모델(데이터는 독립 변수들의 동일한 곱으로 구성됨). 주요 결과는 블록 모델에서 최대 블록 크기가 $ o(p) $ 이하일 경우, 텐서 모델에서 $ d = o(n^{1/3}) $ 이면 법칙이 성립함을 보여주며, 고전적인 i.i.d. 설정을 구조화된 종속성 패tern으로 확장한다.

ABSTRACT

We prove the Marchenko-Pastur law for the eigenvalues of $p imes p$ sample covariance matrices in two new situations where the data does not have independent coordinates. In the first scenario - the block-independent model - the $p$ coordinates of the data are partitioned into blocks in such a way that the entries in different blocks are independent, but the entries from the same block may be dependent. In the second scenario - the random tensor model - the data is the homogeneous random tensor of order $d$, i.e. the coordinates of the data are all $\binom{n}{d}$ different products of $d$ variables chosen from a set of $n$ independent random variables. We show that Marchenko-Pastur law holds for the block-independent model as long as the size of the largest block is $o(p)$ and for the random tensor model as long as $d = o(n^{1/3})$. Our main technical tools are new concentration inequalities for quadratic forms in random variables with block-independent coordinates, and for random tensors.

연구 동기 및 목표

• 고차원 랜덤 행렬에서 구조화된 종속성 패턴이 존재하는 상황으로 고전적인 Marchenko-Pastur 법칙을 i.i.d. 항목을 초월해 확장하는 것.
• 좌표 내 종속성 존재하더라도 표본 공분산 행렬의 경험적 스펙트럼 분포가 여전히 Marchenko-Pastur 법칙으로 수렴하는 조건을 확립하는 것.
• 블록 내 종속성은 존재하지만 블록 간 독립인 블록 독립 모델을 분석하는 것.
• 각 열이 $ n $개 변수에서 온 $ d $차 무작위 텐서의 동차 곱으로 구성된 무작위 텐서 모델을 조사하는 것.
• 주요 수렴 결과를 뒷받침하기 위해 블록 종속성 및 텐서 구조를 가진 랜덤 변수 하에서 이차형식에 대한 새로운 농도 불등식을 유도하는 것.

제안 방법

• 블록 독립 모델을 도입하며, $ p $차원 벡터가 크기가 $ d_k $인 블록들로 분할되며, 블록 간에는 독립이지만 블록 내에서는 종속성이 있을 수 있음.
• 스펙트럼 노름과 고유값 분포를 제어하기 위해 블록 종속 랜덤 변수에 대한 새로운 농도 불등식을 개발함.
• 각 열이 $ n $개의 i.i.d. 변수로부터 형성된 $ d $차 텐서인 무작위 텐서 모델을 분석함.
• 특히 $ d = o(n^{1/3}) $ 조건이 성립할 경우 Marchenko-Pastur 법칙이 성립함을 확립함. 이는 $ n $에 비해 충분히 빠르게 증가하는 서로 다른 곱의 수를 보장함.
• 종속성을 다루기 위해 수정된 모멘트 방법과 Stieltjes 변환 기법을 사용하여 경험적 스펙트럼 분포의 약수렴을 증명함.
• 교환 가능성과 등방성 가정을 활용하여 종속성 구조를 단순화하고, 대칭화 및 분리 기법을 통해 농도 경계를 도출함.

실험 결과

연구 질문

• RQ1 표본 공분산 행렬의 항목들이 i.i.d.가 아니지만 블록 독립일 경우, Marchenko-Pastur 법칙이 성립하는 조건은 무엇인가요?
• RQ2 무작위 텐서로 구성된 랜덤 행렬에 대해 Marchenko-Pastur 법칙을 확장할 수 있으며, 이 경우 $ d $와 $ n $에 대해 어떤 제약 조건이 필요한가요?
• RQ3 수렴 속도는 종속성 구조에 따라 어떻게 달라지며, 특히 기본 랜덤 변수의 네 번째 모멘트에 따라 어떻게 영향을 받는가요?
• RQ4 블록 종속성 또는 텐서 구조를 가진 데이터 하에서 스펙트럼 노름과 고유값 분포를 제어하기 위해 필요한 그리고 충분한 농도 불등식은 무엇인가요?
• RQ5 랜덤 행렬 이론에서 고전적인 i.i.d. 가정을 얼마나 완화해도 극한 스펙트럼 분포가 유지될 수 있는가요?

주요 결과

• 블록 독립 모델에서 최대 블록 크기가 $ o(p) $ 이하일 경우 Marchenko-Pastur 법칙이 성립하며, 이는 블록 내에서 상당한 종속성을 허용함.
• 무작위 텐서 모델에서는 $ d = o(n^{1/3}) $ 조건이 성립할 경우 법칙이 성립하며, 이는 텐서 곱의 다양성이 충분히 증가하여 渐近적 독립성을 유지함을 보장함.
• 블록 독립 및 무작위 텐서 행렬의 경험적 스펙트럼 밀도는 $ p = 4000 $ 및 $ n = 2000 $과 같은 중간 크기의 행렬에서도 Marchenko-Pastur 밀도와 매우 유사하게 나타남.
• 수렴 속도는 기본 랜덤 변수의 네 번째 모멘트에 따라 달라지며, 낮은 네 번째 모멘트(예: 이항분포)는 높은 네 번째 모멘트(예: 정규분포)보다 더 빠른 수렴을 유도함.
• 실험 결과는 $ n \to \infty $ 일 때 경험적 스펙트럼 분포가 Marchenko-Pastur 법칙으로 수렴함을 확인하며, $ n \to 10 $ 이더라도 $ d $가 크면 블록 수가 적어도 수렴에 영향을 주지 않는 것으로 나타나, 높은 안정성을 보임.
• 이론적 결과는 블록 종속성 및 텐서 구조를 가진 랜덤 변수 하에서 이차형식에 대한 새로운 농도 불등식을 통해 뒷받침되며, 이는 증명 프레임워크의 핵심 요소임.