[論文レビュー] To P or not to P: on the evidential nature of P-values and their place in scientific inference

Michael J. Lew|arXiv (Cornell University)|Nov 1, 2013

Meta-analysis and systematic reviews参考文献 48被引用数 12

ひとこと要約

本論文は、P値が数値そのものではなく、尤度関数をインデックス化することによって、実験的証拠の有効な指標であると主張している。P値に対する一般的な批判を反駁し、尤度に基づく証拠の文脈で適切に理解された場合、科学的推論におけるP値の継続的使用を提唱している。

ABSTRACT

The customary use of P-values in scientific research has been attacked as being ill-conceived, and the utility of P-values has been derided. This paper reviews common misconceptions about P-values and their alleged deficits as indices of experimental evidence and, using an empirical exploration of the properties of P-values, documents the intimate relationship between P-values and likelihood functions. It is shown that P-values quantify experimental evidence not by their numerical value, but through the likelihood functions that they index. Many arguments against the utility of P-values are refuted and the conclusion is drawn that P-values are useful indices of experimental evidence. The widespread use of P-values in scientific research is well justified by the actual properties of P-values, but those properties need to be more widely understood.

研究の動機と目的

• P値に関する広く一般的な誤解と、それが科学的推論における役割についての理解を是正すること。
• 有意水準検定（P値）と仮説検定（意思決定に基づく）の違いを明確にすること。これらはしばしば混同されている。
• P値が数値そのものではなく、尤度関数をインデックス化することによって、実験的証拠を定量化することを示すこと。
• P値に対する批判にもかかわらず、P値が誤差率ではなく証拠インデックスとして理解された場合、科学的に正当化されることを主張すること。
• 尤度関数を統合し、有意水準検定と仮説検定のハイブリッド誤用を是正する、統計教育の改善を提唱すること。

提案手法

• シミュレーションと理論的分析を用いて、P値の性質を実証的に探求する。
• P値と尤度関数の間の数学的および概念的関係を確立し、各P値が一意の尤度関数に対応することを示す。
• 累積パワー曲線を用いてP値から尤度関数を導出し、パrameter値の全範囲にわたる証拠の可視化を可能にする。
• 尤度の原則を適用して、尤度関数を介して解釈された場合、P値が証拠の推論と整合することを示す。
• 証拠志向のアプローチ（フィッシャーの有意水準検定）と誤差・意思決定フレームワーク（ネイマン＝ピアソン）の対比を行い、それらの不適合性を強調する。
• 統計ソフトウェアがP値とともに尤度関数をデフォルトで報告するよう提案することで、解釈可能性と科学的推論の質を向上させること。

実験結果

リサーチクエスチョン

• RQ1 P値と尤度関数の関係は何か？また、P値は実験的証拠の有効なインデックスとして機能できるか？
• RQ2 P値の「証拠に対して無関係」である、あるいは「誤差率と混同される」といった一般的な批判がなぜ誤りであるのか？
• RQ3 P値はどの程度まで尤度の原則と整合させられ、証拠の推論と調和できるか？
• RQ4 科学的研究において、有意水準検定と仮説検定を混同することはどのような結果をもたらすか？
• RQ5 統計教育とソフトウェアは、P値と尤度関数の科学的推論における適切な使用を改善するために、どのように改革できるか？

主な発見

• P値は誤差率の直接的な測定ではない。むしろ、帰無仮説の下での証拠の強さを表す尤度関数をインデックス化している。
• 同じP値は一意の尤度関数に対応し、これはすべての可能なパrameter値にわたる証拠の完全で連続的な描写を提供する。
• 広く一般的な批判にもかかわらず、P値は誤差率ではなく証拠インデックスとして理解された場合、科学的に正当化される。
• 頻度主義的誤差率と尤度に基づく証拠の間の対立は、P値自体に起因するのではなく、誤差・意思決定フレームワークと証拠の推論の間の不適合性に起因する。
• 尤度関数は、P値単体よりも優れた、より情報量の多い実験的証拠の表現を提供するが、P値は尤度関数と併用された場合、簡潔なインデックスとして依然として有用である。
• 統計教育とソフトウェアを、尤度関数をデフォルトで含めるように改革すれば、科学的推論の質が向上し、P値の誤解も軽減される。