[논문 리뷰] Improved Central Limit Theorem and bootstrap approximations in high dimensions

Victor Chernozhukov, Denis Chetverikov외 2명|arXiv (Cornell University)|2019. 12. 22.

Statistical Methods and Inference인용 수 25

한 줄 요약

이 논문은 반복적인 랜덤화된 린데베르그 방법을 사용하여 고차원 최대 통계량에 대한 개선된 중심극한정리와 부트스트래핑 근사법을 제안한다. 이로 인해 오차 한계가 더욱 날카럽게 향상된다. 핵심 결과로는 근사 오차가 $ C\left(\frac{\log^5(pn)}{n}\right)^{1/4} $ 이하로 유계임을 증명하였으며, 이는 이전의 한계보다 크게 향상되어 $ p \gg n $ 인 고차원 설정에서도 정확한 추론을 가능하게 한다.

ABSTRACT

This paper deals with the Gaussian and bootstrap approximations to the distribution of the max statistic in high dimensions. This statistic takes the form of the maximum over components of the sum of independent random vectors and its distribution plays a key role in many high-dimensional econometric problems. Using a novel iterative randomized Lindeberg method, the paper derives new bounds for the distributional approximation errors. These new bounds substantially improve upon existing ones and simultaneously allow for a larger class of bootstrap methods.

연구 동기 및 목표

• 고차원에서 최대 통계량에 대한 가우시안 및 부트스트랩 근사의 날카운 한계 부족 문제를 해결한다.
• 기존의 $ n $ 및 $ p $ 에 대해 악화되는 한계를 개선하며, 특히 $ p \gg n $ 인 상황에서의 성능을 향상시킨다.
• 멀티플라이어 부트스트랩 및 실증 부트스트랩을 포함한 일반 부트스트랩 방법을 포함하는, 가우시안 및 일반 부트스트랩 방법에 모두 적용 가능한 통합 프레임워크를 개발한다.
• 오차율을 통제할 수 있는 이론적으로 타당하고 계산적으로 실현 가능한 고차원 추론 방법을 제공한다.
• 고차원 회귀, 다중 검정, 모델 신뢰집합 등의 적용 분야에서 정확한 추론을 가능하게 한다.

제안 방법

• 고차원 중심극한정리에 대한 고전적 린데베르그 접근법을 개선하기 위해 새로운 반복적 랜덤화된 린데베르그 방법을 제안한다.
• 에러의 분포 근사 오차를 제어하기 위해 스테인 방법과 랜덤화된 반복적 구조를 사용한다.
• 스테인 커널과 모멘트 매칭 기법을 도입하여 수렴 속도를 향상시킨다.
• 약한 모멘트 및 의존성 조건 하에서 최대 통계량 $ T_n = \max_{1 \leq j \leq p} \frac{1}{\sqrt{n}} \sum_{i=1}^n (X_{ij} - \mu_j) $ 의 오차 한계를 도출하기 위해 이 방법을 적용한다.
• 특히 세 번째 차수 매칭에 국한되지 않고 일반 멀티플라이어 부트스트랩 방법(예: 가우시안, 라데마처 가중치)을 포함하도록 프레임워크를 확장한다.
• 모든 $ p $ 성분에 대해 균일한 한계를 확립하여, $ p $ 가 $ n $ 과 함께 증가하는 경우에도 유효성을 확보한다.

실험 결과

연구 질문

• RQ1 고차원 최대 통계량의 가우시안 근사 오차 한계를 $ O\left(\left(\frac{\log^7(pn)}{n}\right)^{1/6}\right) $ 를 초월해 향상시킬 수 있는가?
• RQ2 향상된 한계가 일반 멀티플라이어 부트스트랩 및 실증 부트스트랩을 포함한 더 넓은 부트스트랩 방법 클래스에도 적용 가능한가?
• RQ3 오차의 수렴 속도를 $ n^{-1/6} $ 에서 $ n^{-1/4} $ 으로 향상시킬 수 있으며, 同시에 $ p $ 에 대한 로그 의존성은 유지할 수 있는가?
• RQ4 새로운 한계의 날카움 정도는 $ p $ 와 $ n $ 에 대한 의존성 측면에서 어떻게 평가되며, 알려진 하한값과 비교해 볼 때 어떤가?
• RQ5 구조적 가정 하에 비.i.i.d. 또는 의존적인 고차원 데이터에 대해서도 이 방법을 확장할 수 있는가?

주요 결과

• 논문은 가우시안 및 부트스트랩 임계값 모두에 대해 $ \left| \mathbb{P}(T_n > c_{1-\alpha}) - \alpha \right| \leq C\left(\frac{\log^5(pn)}{n}\right)^{1/4} $ 의 새로운 한계를 확립한다.
• 이 한계는 $ n $ 의 지수를 $ 1/6 $ 에서 $ 1/4 $ 로 향상시켜 고차원 설정에서 수렴 속도를 크게 향상시킨다.
• 이 한계는 제3차 매칭에 국한되지 않고 일반 멀티플라이어 부트스트랩 방법(예: 가우시안, 라데마처 가중치)에도 적용 가능하다.
• 이전의 한계에서 $ \log p = o(n^{1/5}) $ 라는 조건이 $ \log p = o(n^{1/4}) $ 로 향상되어, 정확한 추론이 가능한 영역이 확장된다.
• 몬테카를로 시뮬레이션 결과는 다양한 설계 및 분포에서 명목상의 기각률에 매우 가까운 결과를 보이며 이론적 결과를 지지한다.
• 추가적인 구조적 가정(예: 비퇴도성 공분산, 로그-볼록 밀도) 하에서는 $ O\left(\left(\frac{\log^4(pn)}{n}\right)^{1/3}\right) $ 과 $ O\left(\left(\frac{\log^3 p}{n}\right)^{1/2} \log n\right) $ 로의 추가 향상도 가능하다.