[논문 리뷰] Central Limit Theorem and Bootstrap Approximation in High Dimensions with Near $1/\sqrt{n}$ Rates

Miles E. Lopes|arXiv (Cornell University)|2020. 09. 13.

Statistical Methods and Inference참고 문헌 17인용 수 5

한 줄 요약

이 논문은 i.i.d. $p$-차원 서브-가우시안 랜덤 벡터의 합에 대한 고차원 설정에서 가우시안 및 부트스트랩 근사에 대해 near $n^{-1/2}$-속도 베르리-에센 경계를 수립한다. 이는 새로운 증명 기법을 통해 이루어지며, 차원 $p$에 대해 약한 로그적 의존성과 함께 더 날카운 비점근적 경계를 제공한다.

ABSTRACT

Non-asymptotic bounds for Gaussian and bootstrap approximation have recently attracted significant interest in high-dimensional statistics. This paper studies Berry-Esseen bounds for such approximations (with respect to the multivariate Kolmogorov distance), in the context of a sum of $n$ random vectors that are $p$-dimensional and i.i.d. Up to now, a growing line of work has established bounds with mild logarithmic dependence on $p$. However, the problem of developing corresponding bounds with near $n^{-1/2}$ dependence on $n$ has remained largely unresolved. Within the setting of random vectors that have sub-Gaussian entries, this paper establishes bounds with near $n^{-1/2}$ dependence, for both Gaussian and bootstrap approximation. In addition, the proofs are considerably distinct from other recent approaches.

연구 동기 및 목표

• 표본 크기 $n$에 대해 near $n^{-1/2}$ 의존성을 가지며, 고차원 가우시안 및 부트스트랩 근사에 대한 비점근적 경계의 격차를 메운다.
• 이전 연구에서 차원 $p$에 대해 오직 로그적 의존성만 확보했지만 강력한 수렴 속도를 유지하는 데서 비롯되는 한계를 극복한다.
• 서브-가우시안 가정 하에 고차원 중심극한정리에 대한 더 날카운 실용적 오차 경계를 제공한다.
• 최근의 접근 방식과는 다를 바 있는 증명 프레임워크를 개발하여, 차원 제어를 포기하지 않은 채 $n$에 대한 개선된 의존성을 달성한다.

제안 방법

• i.i.d. $p$-차원 서브-가우시안 랜덤 벡터의 합의 분포와 가우시안 근사 사이의 다변량 콜모고로프 거리에 대한 비점근적 베르리-에센 경계를 유도한다.
• 이전 연구에서 사용된 고전적 스텐의 방법이나 엔트로피 기반 추론에 의존하지 않는 새로운 분석 프레임워크를 적용한다.
• 서브-가우시안 벡터에 특화된 정교한 농도 주장 기법을 도입하여 근사 오차를 더 잘 통제한다.
• 분석을 부트스트랩 근사로 확장하여 동일한 조건 하에서 유사한 near $n^{-1/2}$ 속도를 확보한다.
• 고차원 사영의 복잡성을 다루기 위해 차원에 의존하는 엔트로피 및 메트릭 엔트로피 추론을 사용한다.
• 대칭화 및 디커플링 기법을 활용하여 고차원 문제를 제어 가능한 오차 전파를 갖는 구성 요소로 분해한다.

실험 결과

연구 질문

• RQ1 i.i.d. 서브-가우시안 랜덤 벡터의 합에 대한 고차원 가우시안 근사에 대해 near $n^{-1/2}$-속도의 베르리-에센 경계를 수립할 수 있는가?
• RQ2 차원 $p$에 대한 의존성이 고차원 중심극한정리의 수렴 속도에 어떻게 영향을 미치는가?
• RQ3 동일한 서브-가우시안 가정 하에 부트스트랩 근사도 유사한 near $n^{-1/2}$ 속도를 달성할 수 있는가?
• RQ4 기존의 엔트로피 기반 또는 스텐의 방법 접근 방식을 초월해 이러한 향상된 속도를 달성하기 위해 필요한 새로운 증명 기법은 무엇인가?
• RQ5 서브-가우시안 尾 꼬리와 고차원 설정에서 유도되는 근사 오차 사이의 상호작용은 어떠한가?

주요 결과

• 논문은 고차원에서 가우시안 근사에 대해 near $n^{-1/2}$-속도의 베르리-에센 경계를 수립하였으며, 이는 이전 결과의 오직 로그적 $n$-의존성과 비교해 크게 향상된 것이다.
• 경계는 차원 $p$에 대해 오직 약한 로그적 의존성만 보이며, $p$가 $n$과 함께 증가하더라도 효과적으로 작용한다.
• 동일한 near $n^{-1/2}$ 속도가 부트스트랩 근사에 대해서도 확보되었으며, 이는 결과의 적용 범위를 재표본 추출 방법으로 확장한다.
• 증명 전략은 최근의 접근 방식과 근본적으로 다르며, 더 날카운 오차 통제를 가능하게 하는 대체 농도 및 대칭화 기법에 기반한다.
• 결과는 랜덤 벡터의 성분에 대한 서브-가우시안성 가정 하에 성립하며, 고차원 통계에서 흔하고 현실적인 조건이다.
• 이 프레임워크는 신뢰 영역 구성 및 통제된 오차율을 갖는 가설 검정과 같은 고차원 설정에서의 개선된 추론을 위한 기초를 제공한다.