[논문 리뷰] Bias Correction with Jackknife, Bootstrap, and Taylor Series

Jiantao Jiao, Yanjun Han|arXiv (Cornell University)|2017. 09. 18.

Statistical Methods and Inference참고 문헌 52인용 수 4

한 줄 요약

이 논문은 임의의 연속 함수 $f \in C[0,1]$에 대해 이항 모형에서 재표집(jackknife), 부트스트랩(bootstrap), 타일러 급수(Taylor series) 방법을 사용한 편향 보정에 대한 엄밀한 분석을 제공한다. 표준 점근적 전개가 $p$-의존성으로 인해 균일한 편향 행동을 포착하지 못함을 보이고, 부트스트랩 반복이 발산할 수 있음을 입증하며, 재표집과 부트스트랩 편향 보정이 근사 이론과 깊이 연결되어 있음을 밝히며, 수렴 속도는 함수의 매끄러움 정도와 계수의 유계성과 관련이 있음을 밝힌다.

ABSTRACT

We analyze bias correction methods using jackknife, bootstrap, and Taylor series. We focus on the binomial model, and consider the problem of bias correction for estimating $f(p)$, where $f \in C[0,1]$ is arbitrary. We characterize the supremum norm of the bias of general jackknife and bootstrap estimators for any continuous functions, and demonstrate the in delete-$d$ jackknife, different values of $d$ may lead to drastically different behaviors in jackknife. We show that in the binomial model, iterating the bootstrap bias correction infinitely many times may lead to divergence of bias and variance, and demonstrate that the bias properties of the bootstrap bias corrected estimator after $r-1$ rounds are of the same order as that of the $r$-jackknife estimator if a bounded coefficients condition is satisfied.

연구 동기 및 목표

• 일반적인 연속 함수 $f \in C[0,1]$에 대해 이항 모형에서 재표집 및 부트스트랩 추정기의 편향 보정 성질을 이해하는 것.
• 미분 가능성과 국소 분석에 의존하는 고전적 점근적 전개의 한계를 다루며, 이는 $p \in [0,1]$ 전역에서 균일한 편향 행동을 포착하지 못함.
• 반복된 부트스트랩 편향 보정의 행동을 조사하여, 단순한 모형에서도 편향과 분산 측면에서 발산할 수 있음을 보여주는 것.
• 부트스트랩과 재표집 방법이 근사 이론과 이론적으로 연결됨을 확립하며, 특히 다항식 근사와 연속성 모듈러스를 통해 연결됨.
• 일반적인 재표집 및 부트스트랩 추정기의 편향의 최대노름을 특성화하고, 편향 개선 속도를 달성할 수 있는 조건을 규명하는 것.

제안 방법

• 편향 분석을 위해 최소한의 통계 모형으로서 이항 모형 $n \hat{p}_n \sim \text{Bin}(n,p)$을 사용하여 $f \in C[0,1]$에 대해 $f(p)$를 추정할 때의 편향을 연구한다.
• 편향 $e_{1,n}(p) = f(p) - \mathbb{E}_p[f(\hat{p}_n)]$의 타일러 급수 전개를 적용하여 편향 감소의 차수를 분석하며, 표준 $O_p(1/n^k)$ 근사가 무너지는 $p$-의존성 항을 드러낸다.
• 삭제-$d$ 재표집 추정기(delete-$d$ jackknife estimator)를 도입하고, $d$ 값에 따라 편향 행동이 극적으로 달라지며, 특히 $p=0$ 근처에서 두드러짐을 보인다.
• 반복적 적용을 통한 부트스트랩 편향 보정을 분석하며, 무한한 반복이 편향과 분산 양쪽에서 발산할 수 있음을 증명한다.
• 근사 이론을 통해 부트스트랩과 재표집 간의 연결을 확립하며, 유계 계수 조건 하에서 $r$-번째 부트스트랩 보정의 편향 성질이 $r$-번째 재표집과 유사함을 보인다.
• 스테클로프 함수(Steklov functions)와 연속성 모듈러스 $\omega^2(f,h)$를 사용하여 $\mathbb{E}[f(X)] - f(\mathbb{E}[X])$의 편향을 유계화함으로써 $p \in [0,1]$ 전역에서 균일한 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 왜 표준 점근적 전개가 이항 모형에서 재표집 및 부트스트랩 추정기의 균일한 편향 행동을 기술하지 못하는가?
• RQ2 반복된 부트스트랩 편향 보정이 수렴하기 위한 조건은 무엇인가?
• RQ3 $r$-번째 부트스트랩 보정의 편향 성질은 $r$-번째 재표집 추정기와 어떻게 비교되는가?
• RQ4 모든 $f \in C[0,1]$ 및 $p \in [0,1]$ 에 대해 재표집 및 부트스트랩 추정기의 편향을 균일하게 유계화할 수 있는가?
• RQ5 근사 이론은 비모수적 편향 보정 방법의 수렴성과 편향 행동을 이해하는 데 어떤 역할을 하는가?

주요 결과

• 함수 $f(p) = p \ln(1/p)$에 대해 표준 재표집 추정기의 편향은 $C_2/n$ 이하로 균일하게 유계이므로, 원래 추정기와 비교해 편향의 차수를 낮추지 못함을 보여준다.
• 무한히 반복된 부트스트랩 편향 보정은 심지어 이항 모형에서도 편향과 분산 측면에서 발산할 수 있음.
• 유계 계수 조건이 성립할 경우, $r$-번째 부트스트랩 보정 추정기의 편향은 $r$-번째 재표집 추정기와 같은 주기수(order)를 가지며, 이는 이론적 등가성을 확립한다.
• 일반적인 재표집 및 부트스트랩 추정기의 편향 최대노름은 임의의 $f \in C[0,1]$에 대해 특성화되었으며, 이는 $d$-삭제 재표집의 행동이 $d$ 값에 따라 극명하게 다름을 드러낸다.
• $r$-번째 재표집 추정기의 편향은 적절한 매끄러움 조건 하에서 $O(1/n^r)$이지만, $p=0$에서의 특이성으로 인해 이 속도는 모든 $f \in C[0,1]$에 대해 균일하게 달성될 수 없다.
• 함수 $f(p) = p \ln(1/p)$에 대해 원래 추정기의 편향은 $O(1/n)$이며, 이는 $p \in [0,1]$ 전역에서 표준 재표집 또는 부트스트랩 보정이 이 속도를 균일하게 향상시키지 못함을 의미한다.