[논문 리뷰] High-dimensional CLT for Sums of Non-degenerate Random Vectors: $n^{-1/2}$-rate

Arun Kumar Kuchibhotla, Alessandro Rinaldo|arXiv (Cornell University)|2020. 09. 28.

Random Matrices and Applications참고 문헌 36인용 수 4

한 줄 요약

이 논문은 비특이 공분산 행렬을 가진 독립적이고 동일분포가 아닌 다변량 난수 벡터의 합에 대해 고차원 중심극한정리(CLT)를 수립하며, 초직사각형에 대한 Berry–Esseen 추정치에서 최적의 $n^{-1/2}$ 속도를 달성한다. 증명은 Senatov의 조합 방법을 비틀린 비정상적 변형을 활용하여, 이전 결과를 확장함으로써 서브-가우시안성 및 독립성에 대한 제약 조건을 완화하면서도 유한한 세 번째 모멘트를 유지한다.

ABSTRACT

In this note, we provide a Berry--Esseen bounds for rectangles in high-dimensions when the random vectors have non-singular covariance matrices. Under this assumption of non-singularity, we prove an $n^{-1/2}$ scaling for the Berry--Esseen bound for sums of mean independent random vectors with a finite third moment. The proof is essentially the method of compositions proof of multivariate Berry--Esseen bound from Senatov (2011). Similar to other existing works (Kuchibhotla et al. 2018, Fang and Koike 2020a), this note considers the applicability and effectiveness of classical CLT proof techniques for the high-dimensional case.

연구 동기 및 목표

• 독립적이고 동일분포가 아닌 다변량 난수 벡터의 합에 대해 고차원 CLT를 유도하며, 수렴 속도가 $n^{-1/2}$가 되도록 한다.
• 이전 연구에서 사용된 서브-가우시안성 및 로그-볼록성과 같은 제약 조건을 완화한다.
• 비퇴직성 공분산과 유한한 세 번째 모멘트라는 최소 조건 하에서 가능한 한 날카로운 수렴 속도를 확립한다.
• 하한을 통해 $n^{-1/2}$ 속도가 최적임을 입증하며, 더 강한 가정 없이도 이를 향상시킬 수 없음을 보인다.
• 다양한 무거운 尾 비율 성분을 포함하는 고차원 통계 모델, 예를 들어 무거운 꼬리 오차를 가진 회귀 모델에서의 승수 난수 벡터에 적용 가능한 일반적 프레임워크를 제공한다.

제안 방법

• 고차원에서 초직사각형에 대해 다변량 Berry–Esseen 추정치를 도출하기 위해 Senatov의 조합 방법을 적응시킨다.
• Stein의 방법 프레임워크를 사용하여, 합의 분포와 가우시안 목표 분포 간의 차이를 직사각형 영역에서 유계로 한다.
• 시험 함수의 세 번째 도함수의 $L^1$-노름을 통한 제어된 나머지 항을 포함하는 삼차 테일러 전개를 사용한다.
• 세 번째 도함수를 사용하여 분포 간의 이질성을 측정하는 정규화된 척도 $\zeta_3(U,V)$를 도입한다.
• 도함수 노름과 총 변화 유사 거리 간의 핵심 부등식 $\zeta_3(U,V) \leq \nu_3(U,V)/6$를 수립한다.
• 무거운 꼬리 성분을 포함하는 명시적 반례를 구성하여, 주어진 가정 하에서 $n^{-1/2}$ 속도를 향상시킬 수 없음을 보인다.

실험 결과

연구 질문

• RQ1 서브-가우시안성 또는 로그-볼록성보다 더 약한 가정 하에서도 고차원 CLT에서 $n^{-1/2}$ 수렴 속도를 달성할 수 있는가?
• RQ2 비특이 공분산 행렬과 유한한 세 번째 모멘트 조건 하에서 비-i.i.d. 난수 벡터의 합에 대해 $n^{-1/2}$ 속도가 최적인가?
• RQ3 조합 방법을 고차원에서의 초직사각형에 대해 i.i.d. 또는 서브-가우시안 가정 없이도 날카로운 추정치를 도출할 수 있도록 적응시킬 수 있는가?
• RQ4 비퇴직성 조건 하에서 $n^{-1/2}$ 수렴을 달성하기 위해 필요한 차원 $p$에 대한 최소한의 의존성은 무엇인가?
• RQ5 고차원 회귀에서 승수 난수 벡터는 CLT 속도에 어떤 영향을 미치며, 이 이론은 이를 수용할 수 있는가?

주요 결과

• 논문은 비특이 공분산 행렬과 유한한 세 번째 모멘트 조건 하에서 독립적이고 동일분포가 아닌 다변량 난수 벡터의 합에 대해 $n^{-1/2}$ Berry–Esseen 추정치를 달성한다.
• 이 추정치는 모든 $p$차원 초직사각형에 대해 균일하게 성립하며, 고차원 추론에의 적용 가능성을 확장한다.
• $n^{-1/2}$ 속도가 하한 구성에 의해 최적이며, $\sigma_{\min} \lesssim n^{-1/6}$일 때 오차가 0에서 멀리 떨어져 있음을 보여, 이를 향상시킬 수 없음을 입증한다.
• i.i.d. 및 서브-가우시안 가정을 제거하면서도 $n^{-1/2}$ 속도를 유지함으로써 Lopes(2020)의 결과를 향상시킨다.
• 이 방법은 중간 꼬리 성분에 대해 강건하여, 비서브-가우시안 오차를 가진 고차원 회귀에서의 승수 과정에 적합하다.
• 증명 과정에서 미약한 조건 하에서 $\nu_3(U,V) \lesssim (\log(ep))^{3/2}$임을 입증하였으며, 이는 $\sigma_{\min}$ 스케일링과 조합될 경우 $n^{-1/2}$ 속도를 달성하는 데에 충분하다.