[論文レビュー] A reckless guide to P-values: local evidence, global errors

Michael J. Lew|arXiv (Cornell University)|Sep 23, 2019

Meta-analysis and systematic reviews参考文献 59被引用数 7

ひとこと要約

この論文は、P値に関する広く一般的な誤解に挑戦し、帰無仮説に対するデータ固有の強さ（局所的証拠）と、統計的手法の長期的誤り特性（グローバル誤り率）を区別することで、P値が熟慮された併用（パワー分析や再現性の確認を含む）によって依然として価値あるものであると主張している。P値が再現性危機を引き起こすとされる主張に対して、P値自体が本質的に欠陥を有するのではなく、誤解されているだけだと反論している。

ABSTRACT

This chapter demystifies P-values, hypothesis tests and significance tests, and introduces the concepts of local evidence and global error rates. The local evidence is embodied in extit{this} data and concerns the hypotheses of interest for extit{this} experiment, whereas the global error rate is a property of the statistical analysis and sampling procedure. It is shown using simple examples that local evidence and global error rates can be, and should be, considered together when making inferences. Power analysis for experimental design for hypothesis testing are explained, along with the more locally focussed expected P-values. Issues relating to multiple testing, HARKing, and P-hacking are explained, and it is shown that, in many situation, their effects on local evidence and global error rates are in conflict, a conflict that can always be overcome by a fresh dataset from replication of key experiments. Statistics is complicated, and so is science. There is no singular right way to do either, and universally acceptable compromises may not exist. Statistics offers a wide array of tools for assisting with scientific inference by calibrating uncertainty, but statistical inference is not a substitute for scientific inference. P-values are useful indices of evidence and deserve their place in the statistical toolbox of basic pharmacologists.

研究の動機と目的

• 科学的研究、特に実験的薬理学におけるP値の広範な誤用と誤解を是正すること。
• 局所的証拠（データが特定の仮説について何を示しているか）とグローバル誤り率（検定手順の長期的誤り特性）の違いを明確にすること。
• P値が本質的に再現性危機を引き起こすとされる主張に対して、P値は本質的に欠陥を有するのではなく、誤解されているだけであると示し、反論すること。
• 適切な実験設計、パワー分析、再現性の確認と併用されたP値を、有用なツールとして提唱すること。
• 機械的な有意水準検定の適用ではなく、科学的推論に基づいた熟考された統計的推論を促進すること。

提案手法

• 局所的証拠（P値が帰無仮説とのデータの不一致を測る指標としての役割）とグローバル誤り率（繰り返しサンプリングにおける第一種・第二種誤り率）の区別。
• 局所的証拠とグローバル誤り率が乖離する様子を示す簡単な例を用いて、両者を併せて考慮する必要性を説明。
• 代替仮説下での証拠強度を評価するための期待P値の導入。
• 多重検定、HARKing（仮説の後付け適合）、Pハッキングの影響が局所的証拠およびグローバル誤り率に及ぼす影響の説明。
• 局所的証拠と誇張されたグローバル誤り率の間の矛盾を解消するため、新規データを用いた再現性の確認を提案。
• 有意水準検定の機械的適用ではなく、原則に基づいた科学的プロセスとしての統計的推論の再定式化。

実験結果

リサーチクエスチョン

• RQ1 統計的推論において、局所的証拠とグローバル誤り率をどのように意味的に区別し、統合すべきか？
• RQ2 なぜP値は科学的研究で広く使われているにもかかわらず、しばしば十分な証拠を提供しないのか？
• RQ3 Pハッキングや多重検定といった実践的行為が、局所的証拠とグローバル誤り率の両方をどの程度損なうのか？
• RQ4 P値が適切に使われれば、ベイズ因子や信頼区間への移行を避け、科学的推論において依然として有用なツールとして機能するのか？
• RQ5 新規データを用いた再現性の確認は、誤解を招く局所的証拠と誇張されたグローバル誤り率の間の矛盾をどのように解消できるか？

主な発見

• P値自体は本質的に誤解を招くものではなく、帰無仮説に対するデータの不一致を示す局所的証拠としての役割を誤解していることが問題の本質である。P値は信念や真実の度合いを測るものではない。
• 局所的証拠（1回の実験における証拠強度）とグローバル誤り率（繰り返しサンプリングにおける長期的誤り特性）は別個の概念であるが、健全な推論のためには両者を併せて考慮する必要がある。
• Pハッキングや多重検定は、局所的証拠とグローバル誤り率の両方を歪め、その結果、新規データによる再現性の確認がなければ解消できない矛盾を生じる。
• 期待P値は、代替仮説下での証拠強度を評価する有効なツールであり、実験設計およびパワー分析の改善に貢献する。
• 再現性危機の主な原因はP値そのものではなく、統計的実践の質の低さと、証拠と誤り率の区別を怠ったことにある。
• 統計的推論は、有意水準検定への機械的従属や統計的レシピの遵守ではなく、科学的推論と原則に従ったツールの使用に基づいて指導されるべきである。