[論文レビュー] Multiple Test Functions and Adjusted p-Values for Test Statistics with Discrete Distributions

Joshua Habiger|arXiv (Cornell University)|Dec 1, 2014

Statistical Methods in Clinical Trials参考文献 14被引用数 7

ひとこと要約

本稿は、離散的検定統計量を伴う多重仮説検定のための統一的枠組みを提示し、調整済みp値および検定関数——特に抽象的ランダマイズドp値——を提案することで、従来のランダマイズドまたは非ランダマイズド手法と比較してバイアスとばらつきを低減する。決定が手法間で異なる場合、特に大規模な多重仮説検定の状況では、調整済み抽象的ランダマイズドp値および検定関数を報告することが優れていることを示している。

ABSTRACT

The randomized $p$-value, (nonrandomized) mid-$p$-value and abstract randomized $p$-value have all been recommended for testing a null hypothesis whenever the test statistic has a discrete distribution. This paper provides a unifying framework for these approaches and extends it to the multiple testing setting. In particular, multiplicity adjusted versions of the aforementioned $p$-values and multiple test functions are developed. It is demonstrated that, whenever the usual nonrandomized and randomized decisions to reject or retain the null hypothesis may differ, the (adjusted) abstract randomized $p$-value and test function should be reported, especially when the number of tests is large. It is shown that the proposed approach dominates the traditional randomized and nonrandomized approaches in terms of bias and variability. Tools for plotting adjusted abstract randomized $p$-values and for computing multiple test functions are developed. Examples are used to illustrate the method and to motivate a new type of multiplicity adjusted mid-$p$-value.

研究の動機と目的

• 検定統計量が離散的分布をとる場合に、従来のp値の限界を是正すること。
• 既存の手法——ランダマイズドp値、ミッド-p値、抽象的ランダマイズドp値——を統合的かつ拡張的に、多重仮説検定のための整合的な枠組みに統合すること。
• 調整済み抽象的ランダマイズドp値および検定関数が、バイアスとばらつきの観点で従来手法を上回ることを実証すること。
• 高次元設定における調整済み抽象的ランダマイズドp値のプロットおよび多重検定関数の計算に役立つ実用的ツールを提供すること。
• ランダマイズドp値と非ランダマイズドp値に基づく決定が食い違う場合に、より情報量が多く統計的に妥当な報告方法を選ぶ手がかりを研究者に提供すること。

提案手法

• 検定関数と抽象的ランダマイズドp値を、離散的分布下での推論における補完的ツールとして統合する枠組みを構築する。
• 家族ワイズ誤り率の強い制御を保証するように、抽象的ランダマイズドp値および検定関数の多重性調整版を導入する。
• 帰無仮説下での検定関数の期待値を用いて、検定のサイズを定義し、第1種の誤りを正しく制御する。
• 繰り返し期待値の法則を適用して、抽象的ランダマイズドp値を用いる際、意思決定ルールの分散が最小化されることを示す。
• 不確実性を伝えるために、調整済み抽象的ランダマイズドp値を区間としてプロットすることを提案する。特に、検定関数が0または1でない場合に有効である。
• 抽象的ランダマイズドp値に基づく検定関数が、ランダマイズドおよび非ランダマイズド手法の両方を統計的効率性の観点で上回ることを導出し、証明する。

実験結果

リサーチクエスチョン

• RQ1 離散的検定統計量を伴う多重仮説検定において、p値および検定関数をどのように調整すれば、強い誤り率制御を維持できるか？
• RQ2 ランダマイズドと非ランダマイズドの意思決定が異なるのはいつか？その差異を無視した場合の統計的影響は何か？
• RQ3 抽象的ランダマイズドp値を多重仮説検定に拡張可能か？また、バイアスとばらつきの観点で、従来手法を上回るか？
• RQ4 p値が有意水準に近い場合、検定関数は不確実性をどのように伝える役割を果たすか？
• RQ5 ミッド-p値とランダマイズドp値が矛盾する意思決定をもたらす場合、研究者はどのように結果を効果的に報告すべきか？

主な発見

• 調整済み抽象的ランダマイズドp値および検定関数は、特に検定関数が0または1でない場合、バイアスとばらつきの観点でランダマイズドおよび非ランダマイズド手法を上回る。
• 離散的検定統計量を伴う状況では、非ランダマイズドのミッド-p値は、p値がわずかに0.05より上にある場合でも、真のサイズが0.05に近い場合でも誤った意思決定を引き起こす可能性がある。
• 抽象的ランダマイズドp値は、未観測の一様乱雑変数上に定義されており、正確なサイズ制御を維持するため、意思決定の不確実性をより正確に表現する。
• 検定関数が0または1でない場合、調整済み抽象的ランダマイズドp値を区間（例：上限と下限）として報告することは、単一のp値に依存するよりも情報量が多い。
• 提案手法は強い家族ワイズ誤り率制御を保証しており、離散性が意思決定の不確実性を増幅させる大規模な多重仮説検定において特に優位である。
• 理論的証明により、抽象的ランダマイズドp値フレームワーク下では、意思決定ルールの分散が最小化されることを確認しており、その統計的優位性を裏付ける。