[論文レビュー] Sequential Computation of p-values based on (Re-)Sampling with a Guaranteed Error Bound

Axel Gandy|arXiv (Cornell University)|Dec 17, 2006

Bayesian Modeling and Causal Inference被引用数 1

ひとこと要約

この論文は、正確なp値が計算不能な場合でも、しきい値（例：0.05）に対する正しい意思決定を高い確率で保証する、再サンプリングを用いたp値計算の逐次的手順を提案する。適応的に必要なサンプル数を決定し、十分な証拠が得られると早期に停止することで、計算コストを削減するとともに、再現性と正しさを確保する。

ABSTRACT

When explicit forms of p-values are not available or cannot be evaluated efficiently, e.g. in the case of a bootstrap test, one usually resorts to simulation. Especially when a simulation step is computationally expensive it is of interest to draw a small number of samples. This article introduces a sequential procedure to evaluate the p-value using simulation. It guarantees that, up to a small error probability, the computed p-value is on the same side of a threshold, e.g. 0.05, as the theoretical p-value. This is important to guarantee that the results are reproducible. The procedure is open-ended, i.e. a maximum number of samples is not prespecified. By often being able to stop early, considerable computing time is being saved. The sequential procedure is suitable for use as standard algorithm for computing p-values based on (re-)sampling. Key words:

研究の動機と目的

• 解析的表現が得られない、もしくは計算が非現実的な複雑な統計的検定におけるp値計算の課題に対処すること。
• 各シミュレーションステップが高コストである場合に、再サンプリングに基づく推論における計算コストを低減すること。
• 真のp値と同一の側（例：0.05）にあるように、シミュレートされたp値が有意水準の同一側にある確率を高い確率で保証すること。
• 蓄積された証拠に応じて、必要十分な証拠が得られると早期に停止するオープンエンドの手法を開発し、効率を向上させること。
• 再サンプリング手順におけるp値計算のための信頼性があり、再現可能な標準アルゴリズムを提供すること。

提案手法

• この手法は、シミュレートされたp値が臨界しきい値（例：0.05）の上か下かを判断するための逐次的仮説検定の原則を用いる。
• 再サンプルされた検定統計量からの証拠を継続的に監視するために、逐次尤度比検定（SPRT）フレームワークを適用する。
• シミュレートされたp値が真のp値と分類誤差を起こす確率に上限を設ける。
• 証拠が十分に強く、p値が有意か否かを決定できるようになるまでサンプリングを継続する。これは事前に定義された誤差バウンドに基づく。
• アルゴリズムは、蓄積された証拠に応じて再サンプル数を動的に調整し、固定された（無駄な）サンプルサイズを避ける。
• 最終的な意思決定（有意か否か）が、理論的p値の分類と高い確率で一致することを保証する。

実験結果

リサーチクエスチョン

• RQ1 有意水準に対する正しい分類を保証するように設計された、逐次的シミュレーション手順をp値計算に適用できるか？
• RQ2 意思決定の正確性を損なわずに、再サンプリングに基づく推論における計算効率をどのように向上させられるか？
• RQ3 真のp値と同一の側にあるように、シミュレートされたp値の分類誤差をどの程度制御できるか？
• RQ4 実際の応用において、早期停止は必要な再サンプル数をどの程度削減できるか？
• RQ5 このような手法は、再サンプリングフレームワークにおける信頼性のあるデフォルトアルゴリズムとして機能できるか？

主な発見

• 提案された逐次的手順は、シミュレートされたp値が有意水準の同じ側にあることを高い確率で保証する。
• この手法はしばしば早期に停止し、固定サンプルサイズ法と比較して、必要な再サンプル数を顕著に削減する。
• 有意か否かの分類における誤差率を制御し、結果の再現性を確保する。
• 信頼性と効率性の両方を兼ね備えているため、再サンプリングに基づく仮説検定における標準的手法として適している。
• 事前に指定された最大サンプルサイズを避けることで、データと証拠の蓄積に応じて適応し、計算コストの削減を実現する。