[論文レビュー] Bias Correction with Jackknife, Bootstrap, and Taylor Series

Jiantao Jiao, Yanjun Han|arXiv (Cornell University)|Sep 18, 2017

Statistical Methods and Inference参考文献 52被引用数 4

ひとこと要約

本稿は、任意の連続関数 $f \in C[0,1]$ に対して、バインımıアルモデルにおけるバイアス補正について、ジャックナイフ、ブートストラップ、テイラー級数法を用いた厳密な分析を提供する。標準的な漸近展開が $p$-依存性を捉えられず一様なバイアス行動を記述できないこと、ブートストラップ反復が発散する可能性があること、そしてジャックナイフおよびブートストラップのバイアス補正が近似理論と深く関連していること、特に関数の滑らかさと係数の有界性に起因する収束速度が示されている。

ABSTRACT

We analyze bias correction methods using jackknife, bootstrap, and Taylor series. We focus on the binomial model, and consider the problem of bias correction for estimating $f(p)$, where $f \in C[0,1]$ is arbitrary. We characterize the supremum norm of the bias of general jackknife and bootstrap estimators for any continuous functions, and demonstrate the in delete-$d$ jackknife, different values of $d$ may lead to drastically different behaviors in jackknife. We show that in the binomial model, iterating the bootstrap bias correction infinitely many times may lead to divergence of bias and variance, and demonstrate that the bias properties of the bootstrap bias corrected estimator after $r-1$ rounds are of the same order as that of the $r$-jackknife estimator if a bounded coefficients condition is satisfied.

研究の動機と目的

• 一般の連続関数 $f \in C[0,1]$ に対するバインımıアルモデルにおけるジャックナイフおよびブートストラップ推定量のバイアス補正特性を理解すること。
• 微分可能性と局所的解析に依存する古典的漸近展開の限界を扱い、$p \in [0,1]$ 全体にわたる一様なバイアス行動を捉えられていないこと。
• 反復的ブートストラップバイアス補正の挙動を調査し、単純なモデルですらバイアスおよび分散の両方で発散する可能性があることを示すこと。
• ブートストラップとジャックナイフの手法が近似理論と理論的に結びつくことを確立すること、特に多項式近似および連続モジュラスを通じて。
• 一般のジャックナイフおよびブートストラップ推定量のバイアスの上限ノルムを特徴づけ、バイアスレートが向上する条件を同定すること。

提案手法

• バイアスの推定に用いる最小統計モデルとして、$n \hat{p}_n \sim \text{Bin}(n,p)$ を採用し、$f \in C[0,1]$ の $f(p)$ の推定におけるバイアスを分析する。
• バイアス $e_{1,n}(p) = f(p) - \mathbb{E}_p[f(\hat{p}_n)]$ のテイラー級数展開を適用し、バイアス低減の次数を分析。$p$-依存性を持つ項が現れ、標準的な $O_p(1/n^k)$ 近似が無効になることが明らかになる。
• デリート-$d$ ジャックナイフ推定量を導入し、$d$ の値によってバイアスの挙動が著しく異なること、特に $p=0$ 近傍で顕著であることを示す。
• 反復的応用によるブートストラップバイアス補正を分析し、無限反復ではバイアスおよび分散の両方で発散する可能性があることを証明する。
• ブートストラップとジャックナイフの間の近似理論を通じた関係を確立し、有界係数条件のもとで $r$-番目のブートストラップ補正のバイアス特性が $r$-番目のジャックナイフと同等であることを示す。
• ステクロフ関数および連続モジュラス $\omega^2(f,h)$ を用いて、$\mathbb{E}[f(X)] - f(\mathbb{E}[X])$ のバイアスをバインドし、$p \in [0,1]$ 全体にわたる一様な制御を可能にする。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的な漸近展開は、バインomidouアルモデルにおけるジャックナイフおよびブートストラップ推定量の一様バイアス行動を記述できないのか？
• RQ2 反復的ブートストラップバイアス補正が発散せず収束するための条件は何か？
• RQ3 $r$-番目のブートストラップ補正のバイアス特性は、$r$-番目のジャックナイフ推定量とどのように比較できるか？
• RQ4 すべての $f \in C[0,1]$ および $p \in [0,1]$ に対して、ジャックナイフおよびブートストラップ推定量のバイアスを一様に有界化できるか？
• RQ5 近似理論は、非パラメトリックバイアス補正手法の収束性およびバイアス行動を理解するために果たす役割は何か？

主な発見

• 関数 $f(p) = p \ln(1/p)$ に対する標準的ジャックナイフ推定量のバイアスは、$C_2/n$ で一様に下から有界であるため、元の推定量と比べてバイアスの次数が低下しないことが示された。
• 反復的ブートストラップバイアス補正は、無限回適用された場合、バインomidouアルモデルですらバイアスおよび分散の両方で発散する可能性がある。
• 有界係数条件が成り立つ場合、$r$-番目のブートストラップ補正推定量のバイアスは、$r$-番目のジャックナイフ推定量と同程度のオーダーである。理論的同等性が確立された。
• 任意の $f \in C[0,1]$ に対して、一般のジャックナイフおよびブートストラップ推定量のバイアスの上限ノルムが特徴づけられ、$d$-デリートジャックナイフの挙動が $d$ に大きく依存することが明らかになった。
• $r$-番目のジャックナイフ推定量のバイアスは、適切な滑らかさのもとで $O(1/n^r)$ であるが、$p=0$ における特異性のため、すべての $f \in C[0,1]$ に対して一様に達成可能ではない。
• $f(p) = p \ln(1/p)$ の場合、元の推定量のバイアスは $O(1/n)$ であり、$p \in [0,1]$ 全体にわたって一様に改善されない。