[논문 리뷰] A CLT in Stein's distance for generalized Wishart matrices and higher order tensors

Dan Mikulincer|arXiv (Cornell University)|2020. 02. 25.

Random Matrices and Applications참고 문헌 42인용 수 6

한 줄 요약

이 논문은 일반화된 위샤르트 행렬과 고차원 텐서에 대해 스텐의 거리에서 중심극한정리(CLT)를 수립하며, $p$-번째 텐서 거듭제곱의 i.i.d. 합이 $n^{2p-1} \ll d$ 조건을 만족할 경우, 정규분포로 수렴함을 보인다. 이는 규칙성 조건 하에 성립한다. 핵심 기여는 텐서 거듭제곱의 저차원 구조를 활용하기 위해 최적 운반 이론을 스텐의 방법에 새롭게 적용한 데 있다. 이로 인해 기존의 표준 스텐 기법보다 더 날카운 수렴 한계를 도출할 수 있었다.

ABSTRACT

We study the central limit theorem for sums of independent tensor powers, $\frac{1}{\sqrt{d}}\sum\limits_{i=1}^d X_i^{\otimes p}$. We focus on the high-dimensional regime where $X_i \in \mathbb{R}^n$ and $n$ may scale with $d$. Our main result is a proposed threshold for convergence. Specifically, we show that, under some regularity assumption, if $n^{2p-1}\gg d$, then the normalized sum converges to a Gaussian. The results apply, among others, to symmetric uniform log-concave measures and to product measures. This generalizes several results found in the literature. Our main technique is a novel application of optimal transport to Stein's method which accounts for the low dimensional structure which is inherent in $X_i^{\otimes p}$.

연구 동기 및 목표

• 고차원 CLT를 $\mathbb{R}^n$ 내의 i.i.d. 랜덤 벡터의 $p$-번째 텐서 거듭제곱으로 구성된 일반화된 위샤르트 행렬로 확장하기.
• 이전의 제품 또는 로그-볼록 측도를 요구하는 가정을 완화하여 더 넓은 범위의 등방향 측도를 허용하기.
• 스텐의 거리에서 수렴에 대한 정확한 임계값을 확립하여, $p=2$일 때 알려진 결과를 $p>2$로 일반화하기.
• 텐서 거듭제곱에 내재된 저차원 구조를 고려하는 방법을 개발하여 수렴 속도 한계를 향상시키기.

제안 방법

• 텐서 거듭제곱의 정규화된 합과 정규분포 사이의 거리를 분석하기 위해 최적 운반 이론을 스텐의 방법에 새롭게 적용하기.
• 교환 가능한 쌍과 기울기 기반 한계를 사용한 스텐의 방법을 활용하여 스텐 불일치도를 제어하기.
• 텐서 거듭제곱 $X_i^{\otimes p}$ 의 저차원 구조를 통합한 수정된 스텐 연산자를 도입하여 문제의 효과적 차원을 감소시키기.
• 운반 지도의 조건부 기대값에 대한 힐버트-슈미트 노름 추정을 통해 스텐 해의 2차 모멘트에 대한 한계 유도하기.
• 탈라그랑의 운반-엔트로피 부등식과 핀스커의 부등식을 적용하여 상대 엔트로피와 워샤르 거리 간의 관계 설정하기.
• 균일하게 로그-볼록이고 곱 측도에 특화된 경우, $n$, $d$, $p$ 에 따라 수렴 속도에 대한 명시적 한계 도출하기.

실험 결과

연구 질문

• RQ1 고차원에서 $n$ 이 $d$ 와 함께 변화할 때, 정규화된 $p$-번째 텐서 거듭제곱의 수렴에 대한 정확한 임계값은 무엇인가?
• RQ2 위샤르트 행렬에 대한 CLT를 제품 및 로그-볼록 측도를 초월하여 더 일반적인 등방향 분포로 확장할 수 있는가?
• RQ3 최적 운반을 스텐의 방법에 통합하여 저차원 구조를 지닌 랜덤 텐서의 수렴 한계를 향상시킬 수 있는가?
• RQ4 텐서 합에 대각성분이 포함될 경우 CLT의 임계값에 영향을 미치는가? 만약 그렇다면, 어떤 방식으로 영향을 미치는가?
• RQ5 이 방법은 기저 랜덤 행렬의 요소들이 의존성을 지닌 경우, 예를 들어 정적 고전적 가우시안 과정의 경우에도 적응 가능할 수 있는가?

주요 결과

• 논문은 $n^{2p-1} \ll d$ 조건이 성립할 경우, 측도 $\mu$ 에 대한 약한 규칙성 조건 하에 정규화된 합 $\frac{1}{\sqrt{d}}\sum_{i=1}^d X_i^{\otimes p}$ 가 스텐의 거리에서 정규분포로 수렴함을 수립한다.
• 임계값 $n^{2p-1} \ll d$ 는 $p=2$ 일 때 알려진 $n^3 \ll d$ 임계값을 일반화하며, 이는 고차원 텐서로의 CLT 확장을 가능하게 한다.
• 등방향 $L$-균일 로그-볼록 및 무조건적 측도의 경우, 스텐 불일치도에 대한 한계는 $\frac{C_p}{L^4} n^{2p-1} \frac{\|\alpha\|_4^4}{\|\alpha\|_2^4}$ 로 표현되며, $C_p$ 는 $p$ 에만 의존한다.
• 텐서 거듭제곱 $X_i^{\otimes p}$ 가 차원 $\binom{n+p-1}{p}$ 의 공간에 존재하지만 원천이 $\mathbb{R}^n$ 에서 온 랜덤성으로부터 유래된다는 점을 활용하여, 기존의 표준 스텐 기법보다 더 날카운 한계를 달성한다.
• 기저 행렬 $\mathbb{X}$ 의 열들이 의존성을 지닐 경우, 예를 들어 정적 고전적 가우시안 과정일 경우, 직교 대각화를 통한 변수 변환으로 인해 결과는 그대로 성립한다.
• 이 프레임워크는 비균일한 합에도 적용 가능하며, 일반적인 $p$-차 텐서 합에 대해 스텐 해의 2차 모멘트에 대한 한계를 도출하여 정량적 수렴 속도를 확보한다.