[논문 리뷰] Slightly Conservative Bootstrap for Maxima of Sums

Hang Deng|arXiv (Cornell University)|2020. 07. 31.

Statistical Methods and Inference참고 문헌 18인용 수 9

한 줄 요약

이 논문은 고차원 추론에서 수렴 속도를 향상시키기 위해 부트스트랩 분위수를 1% 증가시켜 약간의 보수적인 부트스트랩 방법을 제안한다. 작은 증가 요소를 사용함으로써, 커버리지 오차율은 $\sqrt{\log p / n}$ 수준으로 향상되어 표본 크기 요구 조건이 $n \gg \log p$로 줄어들며, 거의 파rametric 수렴 속도를 달성하게 되어 기존의 표준 부트스트랩 방법에 비해 크게 향상된다.

ABSTRACT

We study the bootstrap for the maxima of the sums of independent random variables, a problem of high relevance to many applications in modern statistics. Since the consistency of bootstrap was justified by Gaussian approximation in Chernozhukov et al. (2013), quite a few attempts have been made to sharpen the error bound for bootstrap and reduce the sample size requirement for bootstrap consistency. In this paper, we show that the sample size requirement can be dramatically improved when we make the inference slightly conservative, that is, to inflate the bootstrap quantile $t_α^*$ by a small fraction, e.g. by $1\%$ to $1.01\,t^*_α$. This simple procedure yields error bounds for the coverage probability of conservative bootstrap at as fast a rate as $\sqrt{(\log p)/n}$ under suitable conditions, so that not only the sample size requirement can be reduced to $\log p \ll n$ but also the overall convergence rate is nearly parametric. Furthermore, we improve the error bound for the coverage probability of the standard non-conservative bootstrap to $[(\log (np))^3 (\log p)^2/n]^{1/4}$ under general assumptions on data. These results are established for the empirical bootstrap and the multiplier bootstrap with third moment match. An improved coherent Lindeberg interpolation method, originally proposed in Deng and Zhang (2017), is developed to derive sharper comparison bounds, especially for the maxima.

연구 동기 및 목표

• 표본 수 $ p \gg n $ 인 고차원 추론 문제를 다루며, 특히 정규화된 합의 최댓값 분포를 다루는 데 목적이 있다.
• 기존 방법이 $ n \gg (\log p)^5 $ 를 요구하는 고차원 설정에서 부트스트랩 일致성에 필요한 표본 크기 요구 조건을 줄이는 것에 목적이 있다.
• 기존의 경계를 초월하여 부트스트랩 커버리지 확률 오차의 수렴 속도를 향상시키고, 파arametric 속도 $ n^{-1/2} $ 에 가까워지도록 하는 것에 목적이 있다.
• 서브-가우시안성 조건을 요구하지 않는 일반적인 모멘트 및 尾 조건 하에서 실제 부트스트랩과 멀티플라이어 부트스트랩에 대한 이론적 보장을 수립하는 것에 목적이 있다.

제안 방법

• 부트스트랩 분위수 $ t_{\alpha}^{*} $ 를 1% 증가시켜 $ 1.01\,t_{\alpha}^{*} $ 로 만듦으로써 약간의 보수적인 부트스트랩을 제안하여, 더 나은 커버리지 확률을 확보한다.
• 특히 최댓값에 대해 더 날카로운 비교 경계를 유도하기 위해 일관된 Lindeberg 보간 방법을 사용한다.
• 멀티플라이어 부트스트랩에서 가우시안 근사와 세 번째 모멘트 매칭을 적용하여 오차 경계를 향상시킨다.
• 일방향 커버리지 오차 $ \eta^{*}_{n,\alpha} $ 의 상한을 유도하여, 미약한 조건 하에서 이 오차가 $ \sqrt{\log p / n} $ 속도로 감소함을 보여준다.
• 다양한 의존성 구조와 분포에서 보수적 및 정확한 부트스트랩 절차의 성능을 검증하기 위해 시뮬레이션 연구를 수행한다.
• 유관한 부트스트랩 및 멀티플라이어 부트스트랩 기법(예: Mammen의 멀티플라이어 부트스트랩 및 Rademacher 멀티플라이어 부트스트랩 포함)을 활용하여 유한 표본 성능을 비교한다.

실험 결과

연구 질문

• RQ1 작은 부트스트랩 분위수 증가가 고차원 설정에서 부트스트랩 커버리지 확률의 수렴 속도를 크게 향상시킬 수 있는가?
• RQ2 표본 크기 요구 조건 $ n \gg \log p $ 는 $ p \to \infty $ 일 때 일관된 추론을 위해 필요한 최소한의 조건인가?
• RQ3 보수적 부트스트랩은 표준(비보수적) 부트스트랩에 비해 커버리지 오차 및 수렴 속도 측면에서 어떻게 비교되는가?
• RQ4 서브-가우시안성 조건을 요구하지 않는 일반적인 모멘트 및 尾 조건 하에서 표준 부트스트랩의 오차 경계를 향상시킬 수 있는가?
• RQ5 보수적 부트스트랩은 다양한 의존성 구조와 분포 가정 하에서도 양호한 유한 표본 성능을 유지하는가?

주요 결과

• 약간의 보수적 부트스트랩의 커버리지 오차는 $ \sqrt{\log p / n} $ 로 유계이며, 일반적인 모멘트 및 尾 조건 하에서 거의 파arametric 수렴 속도를 달성한다.
• 표본 크기 요구 조건이 $ n \gg \log p $ 로 줄어들었으며, 이는 이전에 $ n \gg (\log p)^5 $ 가 요구되었던 것에 비해 극적으로 향상된 것이다.
• 표준(비보수적) 부트스트랩의 오차 경계는 $ \big{(}(\log(np))^{3}(\log p)^{2}/n\big{)}^{1/4} $ 로 향상되었으며, 이는 이전 결과를 초월한다.
• 1% 증가된 보수적 부트스트랩은 평균적으로 시뮬레이션 커버리지 확률을 약 1% 향상시키며, 높은 상관성 하에서는 더 큰 향상 효과를 보인다.
• Mammen의 멀티플라이어 부트스트랩은 가장 안정적인 성능을 보이며, 증가된 분위수는 효과적으로 커버리지 확률을 명목 수준에 가깝게 이동시킨다.
• 시뮬레이션 결과는 보수적 부트스트랩이 표준 부트스트랩이 커버리지에 실패하는 경우에도 안정적인 커버리지(95% 이상)를 달성함을 확인한다. 특히 상관성이 높은 설정에서 유의미한 성능 향상을 보인다.