[논문 리뷰] Beyond Gaussian Approximation: Bootstrap for Maxima of Sums of Independent Random Vectors

Hang Deng, Cun‐Hui Zhang|arXiv (Cornell University)|2017. 05. 26.

Statistical Methods and Inference참고 문헌 29인용 수 19

한 줄 요약

이 논문은 고차원 독립 랜덤 벡터 합의 최댓값에 대해 가우시안 근사에 의존하지 않는 부트스트랩 방법을 개발하며, 일致한 추론을 위한 필요 샘플 크기를 기존의 $ n \gg (\log p)^7 $ 에서 $ n \gg (\log p)^5 $ 로 감소시킨다. 가우시안 근사가 실패할 경우에도 유효한 부트스트랩 추론을 가능하게 하기 위해 새로운 비교 및 반집중 정리들을 수립한다.

ABSTRACT

The Bonferroni adjustment, or the union bound, is commonly used to study rate optimality properties of statistical methods in high-dimensional problems. However, in practice, the Bonferroni adjustment is overly conservative. The extreme value theory has been proven to provide more accurate multiplicity adjustments in a number of settings, but only on ad hoc basis. Recently, Gaussian approximation has been used to justify bootstrap adjustments in large scale simultaneous inference in some general settings when $n \gg (\log p)^7$, where $p$ is the multiplicity of the inference problem and $n$ is the sample size. The thrust of this theory is the validity of the Gaussian approximation for maxima of sums of independent random vectors in high-dimension. In this paper, we reduce the sample size requirement to $n \gg (\log p)^5$ for the consistency of the empirical bootstrap and the multiplier/wild bootstrap in the Kolmogorov-Smirnov distance, possibly in the regime where the Gaussian approximation is not available. New comparison and anti-concentration theorems, which are of considerable interest in and of themselves, are developed as existing ones interweaved with Gaussian approximation are no longer applicable.

연구 동기 및 목표

• 고차원에서 독립 랜덤 벡터 합의 최댓값에 대해 가우시안 근사에 의존하지 않는 부트스트랩 방법을 개발하는 것.
• 기존의 $ n \gg (\log p)^7 $ 에서 $ n \gg (\log p)^5 $ 로 일치한 부트스트랩 추론을 위한 샘플 크기 요구 조건을 감소시키는 것.
• 가우시안 영역을 초월하는 유효한 새로운 비교 및 반집중 정리들을 수립하는 것.
• 고차원 통계에서 대규모 동시 추론을 위한 이론적으로 탄탄하고 비점근적 프레임워크를 제공하는 것.

제안 방법

• 진정한 분포와 부트스트랩 분포 사이의 콜모고로프-스미르노프 거리의 상한을 구하기 위해 비교 부등식을 사용하는 새로운 이론적 프레임워크를 개발한다.
• 가우시안 근사에 의존하지 않는 독립 랜덤 벡터 합의 최댓값에 대한 반집중 정리를 제안한다.
• 최소한의 모멘트 조건 하에서 고차원 최댓값에 대해 경험 부트스트랩과 승수/와일드 부트스트랩을 적용한다.
• 사영화 및 모멘트 비교 기법을 조합한 체이닝 유형의 추론을 사용하여 부트스트랩 오차를 통제한다.
• 개선된 샘플 크기 조건 $ n \gg (\log p)^5 $ 하에서 콜모고로프-스미르노프 거리에서의 부트스트랩 일致성을 수립한다.
• 기존의 가우시안 근사가 성립하지 않을 경우에도 성립하는 최댓값의 합에 대한 새로운 반집중 부등식에 기반한다.

실험 결과

연구 질문

• RQ1 가우시안 근사에 의존하지 않고 고차원 합의 최댓값에 대해 부트스트랩을 일관적으로 적용할 수 있는가?
• RQ2 고차원 환경에서 유효한 부트스트랩 추론을 위한 최소 샘플 크기는 얼마인가?
• RQ3 비가우시안 영역에서 최댓값의 반집중 성질은 어떻게 확립할 수 있는가?
• RQ4 가우시안 근사가 실패할 경우에도 강건한 비교 정리는 개발할 수 있는가?

주요 결과

• 경험 부트스트랩과 승수/와일드 부트스트랩은 조건 $ n \gg (\log p)^5 $ 하에서 콜모고로프-스미르노프 거리에서 일관성이 있으며, 이는 이전의 $ n \gg (\log p)^7 $ 조건보다 개선된 것이다.
• 가우시안 근사가 실패할 경우에도 유효한 새로운 반집중 정리들이 수립되어 비가우시안 고차원 설정에서의 강건한 추론을 가능하게 한다.
• 기본 랜덤 벡터의 가우시안성 가정 없이도 부트스트랩 오차를 통제할 수 있는 비교 부등식들이 개발되었다.
• 유니온 바운드가 지나치게 보수적인 경우와 극값 이론이 필요한 일반적인 고차원 추론 문제에 이 이론적 프레임워크가 적용 가능하다.