[論文レビュー] What Teachers Should Know about the Bootstrap: Resampling in the Undergraduate Statistics Curriculum

Tim Hesterberg|arXiv (Cornell University)|Nov 19, 2014

Statistics Education and Methodologies被引用数 5

ひとこと要約

本論文は、標本分布、標準誤差、信頼区間、仮説検定の概念的理解を高めるために、ブートストラップリサンプリングとパーミュテーション検定を大学教養統計教育に統合することを提唱する。古典的t区間は歪んだデータに対して極めて不正確であり、妥当な正確性を得るにはn ≥ 5000の標本サイズが必要となるが、ブートストラップ法（ブートストラップt法や歪度補正区間を含む）は非常に小さな標本でも2次的正確性を達成でき、実務においてより信頼性の高い推論を可能にする。

ABSTRACT

I have three goals in this article: (1) To show the enormous potential of bootstrapping and permutation tests to help students understand statistical concepts including sampling distributions, standard errors, bias, confidence intervals, null distributions, and P-values. (2) To dig deeper, understand why these methods work and when they don't, things to watch out for, and how to deal with these issues when teaching. (3) To change statistical practice---by comparing these methods to common t tests and intervals, we see how inaccurate the latter are; we confirm this with asymptotics. n >= 30 isn't enough---think n >= 5000. Resampling provides diagnostics, and more accurate alternatives. Sadly, the common bootstrap percentile interval badly under-covers in small samples; there are better alternatives. The tone is informal, with a few stories and jokes.

研究の動機と目的

• ブートストラップ法とパーミュテーション検定が、標本分布、標準誤差、バイアス、P値といった統計的コアコンセプトの理解をどのように向上させるかを示すこと。
• ブートストラップ法とパーミュテーション法が失敗する状況とその理由を特定し、それらの問題に対処するための実務的ガイダンスをインstructorsに提供すること。
• 古典的t手順がn ≥ 30であっても歪んだデータでは信頼性が低いこと、およびリサンプリングに基づく診断と代替手法を提唱することで、従来の統計的実務を挑戦すること。
• 一般的に使用されるブートストラップ百分位区間（percentile interval）が小標本で覆いがかりが不足するため、第二の正確性を達成するための代替として、第二の正確性を持つブートストラップ区間（ブートストラップt法や歪度補正t区間）の導入を促進すること。

提案手法

• さまざまな標本サイズとデータの歪度の下で、ブートストラップ法とパーミュテーション法の標本分布を視覚的およびシミュレーションベースで比較する。
• 実データおよびシミュレートされたデータセットを用いて、非パラメトリックブートストラップとパーミュテーション検定のリサンプリング技法を適用し、標本変動性と推論を説明する。
• 複数の信頼区間手法のカバレッジ正確性を比較する：ブートストラップ百分位区間、拡張百分位区間、逆百分位区間、ブートストラップt法、歪度補正t法。
• 漸近理論とシミュレーションを用いて、特に歪度下での古典的t区間とブートストラップ法の収束速度を評価する。
• ブートストラップサンプルからのスチューデント化統計量（studentized statistics）を用いてより正確な信頼区間を構築する、ブートストラップt法を導入し、評価する。
• 小標本では対称性を仮定するのを避け、標本サイズが大きくなると歪度を推定するという、縮小／正則化アプローチを提案し、小標本性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ブートストラップ法とパーミュテーション検定は、標本分布や標準誤差といった統計的コアコンセプトの理解をどのように向上させるか？
• RQ2 なぜ古典的t区間は歪んだデータに対してうまく機能しないのか？また、妥当な正確性を得るにはどの程度の標本サイズが必要か？
• RQ3 小標本および歪んだ標本におけるブートストラップ百分位区間の性能は、他の区間と比べてどうか？
• RQ4 ブートストラップ法とパーミュテーション法が失敗する条件は何か？インstructorsはそれらの問題をどのように対処すべきか？
• RQ5 第二の正確性を持つブートストラップ法（ブートストラップt法や歪度補正t法）は、従来のt法を上回る推論を可能にするか？また、信頼性のあるカバレッジを得るにはどの程度の標本サイズが必要か？

主な発見

• 古典的t区間は歪んだデータに対して極めて不正確であり、95％カバレッジが真の水準の10％以内に収まるにはn ≥ 5000の標本サイズが必要となる。これは中心極限定理の収束が非常に遅いためである。
• ブートストラップ百分位区間は小標本で著しくカバレッジが不足しており、第二の正確性に必要な歪度の3分の1程度の非対称性しか持たないため、小標本では信頼性に欠ける。
• ブートストラップt法は第二の正確性を達成し、95％信頼区間が合理的に正確になるにはn ≥ 101の標本サイズで十分であり、通常のt区間を著しく上回る性能を示す。
• 歪度補正t区間はn ≥ 220で同程度の正確性を達成するが、拡張百分位区間はn ≥ 2235、逆百分位区間は8000を超える標本サイズを必要とする。
• 正確なシミュレーションベースの推論を行うには、少なくともr = 15,000のリサンプルが必要であり、95％信頼区間と5％検定水準が真の値の10％以内に収まるように保証できる。通常の使用にはr = 10,000が推奨される。
• リサンプリング法（ブートストラップt法や歪度補正t区間）は、非正規分布データに対して特に優れた小標本性能と第二の正確性を備えているため、実務では古典的t手順に取って代わるべきである。