[논문 리뷰] Another look at Bootstrapping the Student t-statistic

Miklós Csörgő, Yuliya V. Martsynyuk외 1명|arXiv (Cornell University)|2012. 09. 18.

Bayesian Methods and Mixture Models참고 문헌 13인용 수 5

한 줄 요약

이 논문은 데이터가 아닌 무작위 가중치에 조건을 두어 부스터랩 t통계량을 재평가하며, Lindeberg-Feller 중심극한정리에 기반하여 최소한의 가정 하에 점근적 타당성을 확립한다. 가중치의 교환 가능성은 필요 없으며, 정규분포의 영역에 속하는 분포일지라도 분산이 무한대인 경우에도 부스터랩 t신뢰구간의 타당성을 위한 새로운 조건을 제시한다.

ABSTRACT

Let X, X_1,X_2,... be a sequence of i.i.d. random variables with mean $μ=E X$. Let ${v_1^{(n)},...,v_n^{(n)}}_{n=1}^\infty$ be vectors of non-negative random variables (weights), independent of the data sequence ${X_1,...,X_n}_{n=1}^\infty$, and put $m_n=\sumn v_i^{(n)}$. Consider $ X^{*}_1,..., X^{*}_{m_n}$, $m_n\geq 1$, a bootstrap sample, resulting from re-sampling or stochastically re-weighing a random sample $X_1,...,X_n$, $n\geq 1$. Put $\bar{X}_n= \sumn X_i/n$, the original sample mean, and define $\bar{X^*}_{m_n}=\sumn v_i^{(n)} X_i/m_n$, the bootstrap sample mean. Thus, $\bar{X^*}_{m_n}- \bar{X}_n=\sumn ({v_i^{(n)}}/{m_n}-{1}/{n}) X_i$. Put $V_n^{2}=\sumn ({v_i^{(n)}}/{m_n}-{1}/{n})^2$ and let $S_n^{2}$, $S_{m_{n}}^{*^{2}}$ respectively be the the original sample variance and the bootstrap sample variance. The main aim of this exposition is to study the asymptotic behavior of the bootstrapped $t$-statistics $T_{m_n}^{*}:= (\bar{X^*}_{m_n}- \bar{X}_n)/(S_n V_n)$ and $T_{m_n}^{**}:= \sqrt{m_n}(\bar{X^*}_{m_n}- \bar{X}_n)/ S_{m_{n}}^{*} $ in terms of conditioning on the weights via assuming that, as $n,m_n o \infty$, $\max_{1\leq i \leq n}({v_i^{(n)}}/{m_n}-{1}/{n})^2\big/ V_n^{2}=o(1)$ almost surely or in probability on the probability space of the weights. This view of justifying the validity of the bootstrap is believed to be new. The need for it arises naturally in practice when exploring the nature of information contained in a random sample via re-sampling, for example. Conditioning on the data is also revisited for Efron's bootstrap weights under conditions on $n,m_n$ as $n o \infty $ that differ from requiring $m_n /n$ to be in the interval $(λ_1,λ_2)$ with 0< λ_1 < λ_2 < \infty as in Mason and Shao. Also, the validity of the bootstrapped $t$-intervals for both approaches to conditioning is established.

연구 동기 및 목표

• 데이터가 아닌 무작위 가중치에 조건을 두어 부스터랩된 t통계량의 타당성을 재표현하는 것.
• 교환 가능한 가중치가 필요하지 않은 조건 하에서 부스터랩 t통계량이 점근적으로 타당하게 유지되는 조건을 확립하는 것.
• 기본 분포의 분산이 무한대일 경우, 즉 정규분포의 영역에 속할 경우에도 부스터랩 t신뢰구간의 타당성을 확장하는 것.
• 복잡한 순서통계량이나 교환 가능성에 의존하지 않고, Lindeberg-Feller 중심극한정리에 기반해 부스터랩 타당성에 대해 더 단순하고 직접적인 근거를 제공하는 것.
• Efron의 재표본 부스터랩과 확률적으로 재가중된 부스터랩을 서로 다른 조건부 프레임워크 하에서 비교 및 대조하는 것.

제안 방법

• 무작위 가중치에 조건을 두었을 때 부스터랩된 t통계량의 점근적 정규성을 정당화하기 위해 Lindeberg-Feller 중심극한정리를 핵심 도구로 사용한다.
• 두 가지 부스터랩 t통계량을 정의한다: $ T^{*}_{m_n} = (\bar{X}^{*}_{m_n} - \bar{X}_n)/(S_n V_n) $ 와 $ T^{**}_{m_n} = \sqrt{m_n}(\bar{X}^{*}_{m_n} - \bar{X}_n)/S^{*}_{m_n} $, 여기서 $ V_n^2 = \sum_{i=1}^n \left( \frac{v_i^{(n)}}{m_n} - \frac{1}{n} \right)^2 $.
• 최대 무시 가능 조건을 도입한다: $ \max_{1\leq i\leq n} \left( \frac{v_i^{(n)}}{m_n} - \frac{1}{n} \right)^2 / V_n^2 = o(1) $ 거의 확실히 또는 확률적으로 가중치 공간에서 성립한다.
• 데이터에 조건을 두었을 때 중심극한정리의 조건부 형태를 적용하여, 중심화된 다항분포 변수들의 확률적 가중합에 대해 Morris [20]의 결과를 활용한다.
• 가중치 조건부 프레임워크 하에서 부스터랩 반복 간의 점근적 조건부 독립성을 입증하기 위해 점근적 비상관관계를 증명한다.
• Cheshev의 부등식과 모멘트 경계를 사용하여 교차가중합 항목의 확률적 수렴이 0으로 수렴함을 보여, 부스터랩 반복 간의 점근적 독립성을 확보한다.

실험 결과

연구 질문

• RQ1 무작위 가중치에 조건을 두었을 때, 부스터랩 t통계량이 어떤 조건에서 타당한가?
• RQ2 가중치의 교환 가능성 조건 없이도 부스터랩을 정당화할 수 있는가?
• RQ3 기본 분포의 분산이 무한대일 경우, 즉 정규분포의 영역에 속할 경우 부스터랩 t신뢰구간이 타당한가?
• RQ4 데이터 조건부와 가중치 조건부에서 부스터랩된 t통계량의 점근적 행동은 어떻게 다를까?
• RQ5 Lindeberg-Feller 중심극한정리를 직접적으로 활용하여, 순서기반 점근적 정규성 결과에 의존하지 않고도 부스터랩 t통계량의 타당성을 입증할 수 있는가?

주요 결과

• 최대 무시 가능 조건 하에서, 교환 가능성 없이도 부스터랩 t통계량 $ T^{*}_{m_n} $ 는 표준정규분포로 수렴한다.
• 데이터 조건부와 가중치 조건부 모두에서 부스터랩 t신뢰구간의 타당성이 입증되었으며, 특히 분산이 무한대인 분포에 대해서는 가중치 조건부가 새로운 결과이다.
• 데이터에 조건을 두었을 때, $ X $ 가 정규분포의 영역에 속할 경우(즉, DAN), $ \mathbb{E}[X^2] = \infty $ 이더라도 결과가 성립하며, 이는 새로운 기여이다.
• 가중치 조건부에서는 $ \mathbb{E}[X^2] = \infty $ 인 경우에 대해 본 논문에서 처음으로 유사한 결과를 도출하였으며, 동일한 무시 가능 조건 하에서 부스터랩된 t통계량의 점근적 정규성을 입증하였다.
• 모멘트 경계와 Cheshev의 부등식을 사용하여 교차모멘트의 수렴을 통해 부스터랩 반복 간의 점근적 조건부 독립성을 입증하였다.
• 특히 데이터에 조건을 두었을 때, 조건부 중심극한정리를 가중 다항분포 배열에 적용함으로써 이전 접근보다 훨씬 단순한 증명 기법을 제공하였다.