[論文レビュー] Analytic Bias Reduction for $k$-Sample Functionals

Christopher S. Withers, Saralees Nadarajah|ArXiv.org|Mar 17, 2009

Sparse and Compressive Sensing Techniques参考文献 17被引用数 6

ひとこと要約

本稿では、von Mises 衍数を用いて $2p-2$ 階までの非パラメトリックなバイアス低減法を導入し、$O(N)$ の計算コストで $p$ 階バイアス低減を実現する解析的で非パラメトリックな手法を提案する。これは、$O(N^p)$ の計算コストを要するブートストラップやジャックナイフ法と比較して、著しく効率的である。本手法により、多項係数やモーメントなどの関数に対するコンactかつ不偏な推定が可能となり、スケーリングと峰度の3次までの明示的公式も得られる。

ABSTRACT

We give analytic methods for nonparametric bias reduction that remove the need for computationally intensive methods like the bootstrap and the jackknife. We call an estimate {\it $p$th order} if its bias has magnitude $n_0^{-p}$ as $n_0 o \infty$, where $n_0$ is the sample size (or the minimum sample size if the estimate is a function of more than one sample). Most estimates are only first order and require O(N) calculations, where $N$ is the total sample size. The usual bootstrap and jackknife estimates are second order but they are computationally intensive, requiring $O(N^2)$ calculations for one sample. By contrast Jaeckel's infinitesimal jackknife is an analytic second order one sample estimate requiring only O(N) calculations. When $p$th order bootstrap and jackknife estimates are available, they require $O(N^p)$ calculations, and so become even more computationally intensive if one chooses $p>2$. For general $p$ we provide analytic $p$th order nonparametric estimates that require only O(N) calculations. Our estimates are given in terms of the von Mises derivatives of the functional being estimated, evaluated at the empirical distribution. For products of moments an unbiased estimate exists: our form for this "polykay" is much simpler than the usual form in terms of power sums.

研究の動機と目的

• k 標本関数に対する計算的に効率的で、解析的な非パラメトリックバイアス低減法の開発。
• ブートストラップやジャックナイフ法のような計算コストの高いリサンプリング手法に依存せず、高次のバイアス低減を実現すること。
• 多項係数、モーメント、累積量などの関数に対する不偏推定の明示的かつ簡潔な公式の提供。
• パラメトリックな設定に限らず、一般の滑らかな複数分布関数に対する解析的バイアス低減の適用範囲を拡張すること。
• スケーリングと峰度の3次までの明示的導出を通じて、本手法の効率性と正確性を示すこと。

提案手法

• 本手法は、関数 $T(F)$ の von Mises 衍数を $2p-2$ 階まで、経験分布 $\widehat{F}$ で評価した無限級数の切り捨てに基づいて $p$ 階推定を構築する。
• S, T, V の3種類の推定形が導出され、$p > 2$ の場合、S-推定がより少ない項数で必要なため最適である。
• S-推定が $p=2$ の場合、Jaeckel の無限小ジャックナイフに一致することが示され、解析的およびリサンプリング手法の間の直接的な関係が確立される。
• 多項式としてのモーメントに依存する関数（例：多項係数）に対しては、対称多項式表に依存せず、閉形式の不偏推定が得られる。
• 本手法は関数の導関数（インパルス関数）およびその高階版を用い、1階導関数を超える一貫性を確保する補正項を含む。
• スケーリングと峰度の3次までの明示的公式が、累積量および標準化モーメント $\beta_r$ を用いて導出される。

実験結果

リサーチクエスチョン

• RQ1 解析的バイアス低減法は、$O(N)$ の計算コストで $p$ 階バイアス低減を達成できるか。ブートストラップやジャックナイフ法の $O(N^p)$ のコストを回避できるか。
• RQ2 $2p-2$ 階までの von Mises 衍数を用いて、複数分布の滑らかな関数に対する不偏推定をどのように構築できるか。
• RQ3 提案された S-推定と $p=2$ の場合の既存手法（Jaeckel の無限小ジャックナイフ）との関係は何か。
• RQ4 本手法は、パワー和表に依存せず、多項係数やモーメントのための簡潔な明示的公式を生成できるか。
• RQ5 標準化モーメントを用いて、スケーリングと峰度の3次バイアス補正式はどのように表されるか。

主な発見

• 提案された解析的 $p$ 階推定は、$O(n_0^{-p})$ のバイアスを達成し、計算コストは $O(N)$ にとどまる。これは、ブートストラップやジャックナイフ法に比べて $O(n_0^{p-1})$ の高速化を実現する。
• $p=2$ の場合、S-推定は Jaeckel の無限小ジャックナイフに一致し、解析的およびリサンプリングベースのバイアス低減の間の直接的な関係が確立される。
• S-推定は、従来のパワー和に基づく公式と比較して、多項係数の表現がはるかに簡潔である。これにより、対称多項式表への依存が不要になる。
• スケーリングと峰度の3次バイアス補正式が明示的に導出され、$T[2]$、$T[3]$、$T[2^2]$ は標準化モーメント $\beta_r$ を用いて表される。
• 本手法はモーメントおよび累積量の積を適切に処理し、計算的に効率的で解析的に取り扱いやすい不偏推定を提供する。
• 高階 von Mises 衍数の導出には必要な補正項が含まれており、元の定義における曖昧さが解消され、高階展開の一貫性が保証される。