[논문 리뷰] Gaussian approximations and multiplier bootstrap for maxima of sums of high-dimensional random vectors

Victor Chernozhukov, Denis Chetverikov외 1명|RePEc: Research Papers in Economics|2012. 12. 31.

Statistical Methods and Inference인용 수 6

한 줄 요약

이 논문은 차원 수 $ p $ 가 표본 크기 $ n $ 와 비교해 매우 클 경우, 고차원 랜덤 벡터 합의 최댓값에 대한 가우시안 근사 및 승수 부트스트랩 방법을 개발한다. 비점근적 경계를 확립하여, 최댓값의 분포와 그 가우시안 또는 조건부 가우시안 근사 간의 콜모고로프 거리가 $ n $ 에 대해 다항식적으로 감소함을 보이며, 이는 고차원 통계에서 타당한 추론을 가능하게 한다.

ABSTRACT

We derive a Gaussian approximation result for the maximum of a sum of high-dimensional random vectors. Specifically, we establish conditions under which the distribution of the maximum is approximated by that of the maximum of a sum of the Gaussian random vectors with the same covariance matrices as the original vectors. This result applies when the dimension of random vectors ($p$) is large compared to the sample size ($n$); in fact, $p$ can be much larger than $n$, without restricting correlations of the coordinates of these vectors. We also show that the distribution of the maximum of a sum of the random vectors with unknown covariance matrices can be consistently estimated by the distribution of the maximum of a sum of the conditional Gaussian random vectors obtained by multiplying the original vectors with i.i.d. Gaussian multipliers. This is the Gaussian multiplier (or wild) bootstrap procedure. Here too, $p$ can be large or even much larger than $n$. These distributional approximations, either Gaussian or conditional Gaussian, yield a high-quality approximation to the distribution of the original maximum, often with approximation error decreasing polynomially in the sample size, and hence are of interest in many applications. We demonstrate how our Gaussian approximations and the multiplier bootstrap can be used for modern high-dimensional estimation, multiple hypothesis testing, and adaptive specification testing. All these results contain nonasymptotic bounds on approximation errors.

연구 동기 및 목표

• 차원 수 $ p $ 가 표본 크기 $ n $ 에 비해 클 경우, 고차원 랜덤 벡터 합의 최댓값에 대한 분포 근사 문제를 다루는 것.
• 동일한 분포를 가진 고차원 랜덤 벡터 합의 최댓값 좌표 분포에 대한 비점근적 가우시안 근사를 제공하는 것.
• 공분산 구조가 알려져 있지 않을 경우 최댓값의 분포를 추정하기 위한 타당한 승수 부트스트랩 절차를 개발하는 것.
• 모든 조건에서 근사 오차가 $ n $ 에 대해 다항식적으로 감소함을 보장하는 조건을 설정하는 것, 특히 $ p $ 가 $ n $ 과 함께 지수적으로 증가할 경우에도 적용 가능함.
• 다중 검정, 추정, 사양 검정과 같은 고차원 통계 문제에서 실용적인 추론을 가능하게 하는 것.

제안 방법

• 동일한 공분산 행렬을 가진 가우시안 벡터 합의 최댓값과 비교하여 고차원 랜덤 벡터 합의 최댓값에 대한 가우시안 근사를 유도하는 것.
• 스테인의 방법, 슬레피안의 보간법, 반집중 경계를 사용하여 진짜 분포와 근사 분포 간의 콜모고로프 거리를 통제하는 것.
• 최댓값 함수에 대한 부드러운 포텐셜 근사를 적용하여 분석적 취급 가능성을 높이기 위해 스핀 거친 모델의 자유 에너지와 연결하는 것.
• 진짜 공분산 기반 분포를 추정하기 위해 원래의 벡터에 i.i.d. 표준 정규 승수를 곱하여 가우시안 승수(와일드) 부트스트랩을 도입하는 것.
• 모멘트 및 반집중 조건을 사용하여 비점근적 근사 오차 경계를 설정하는 것, 특히 서브지수 및 비서브지수 尾를 포함한 조건.
• 집중 부등식과 자기정규화된 합의 경계를 통해 부트스트랩의 오차를 통제하는 것, 실제 공분산 구조와 표본 공분산 구조 간의 차이를 제한하는 방식.

실험 결과

연구 질문

• RQ1 고차원 랜덤 벡터 합의 최댓값 분포가 동일한 공분산 구조를 가진 가우시안 벡터의 분포로 수렴하는 조건은 무엇인가요?
• RQ2 진짜 공분산 행렬이 알려져 있지 않을 경우, 승수 부트스트랩을 사용하여 최댓값의 분포를 일관되게 추정할 수 있는가요?
• RQ3 표본 크기 $ n $ 에 대해 근사 오차가 얼마나 빨리 감소하는가, 특히 $ p \gg n $ 일 경우에 대해 어떻게 되는가요?
• RQ4 가우시안 근사 및 부트스트랩의 타당성을 보장하는 모멘트 및 의존성 조건은 무엇인가요?
• RQ5 이러한 근사 방법은 다중 가설 검정 및 적응형 사양 검정과 같은 고차원 추론 문제에 어떻게 적용될 수 있는가요?

주요 결과

• 미세한 모멘트 조건 하에, 최댓값 $ T_0 $ 의 분포와 그 가우시안 유사체 $ Z_0 $ 간의 콜모고로프 거리는 $ Cn^{-c} $ 이하로 유계이며, $ c>0 $.
• 모든 조건에서 근사 오차는 $ n $ 에 대해 다항식적으로 감소하며, $ p $ 가 $ e^{o(n^c)} $ 의 속도로 증가하더라도 $ p \gg n $ 를 허용함.
• 균일하게 유계된 랜덤 벡터의 경우 오차는 $ O((\log p)^7 / n) $ 의 속도로 감소하며, $ (\log p)^7 / n \to 0 $ 일 때 0으로 수렴함.
• 동일한 조건 하에 가우시안 승수 부트스트랩은 최댓값의 분포를 일관되게 추정하며, 동일한 오차율 $ O(n^{-c}) $ 을 가짐.
• 꼬리 확률 근사에서 높은 정확도를 달성하여, 다중 검정과 같은 실용적 추론에 필수적인 요소임.
• 결과는 비점근적이며 고차원 설정 전반에 걸쳐 균일하게 성립하므로, $ p \gg n $ 인 현대 데이터 분석에서 타당한 추론을 가능하게 함.