[论文解读] Liberating research from null hypotheses: extending the idea of confidence instead of using p values

Michael Wood|arXiv (Cornell University)|Dec 19, 2009

Meta-analysis and systematic reviews被引用 1

一句话总结

本文提出了一种概率化的置信重新定义，以替代假设检验中对p值的依赖，提供了一种更直观、更透明的替代方案。通过在特定假设下将p值重新解释为置信陈述，使研究人员能够以更有意义的方式评估假设的可信度，从而提升统计推断的清晰度和用户友好性。

ABSTRACT

Null hypothesis significance tests and p values are widely used despite very strong arguments against their use in many contexts. Confidence intervals are often recommended as an alternative, but these do not achieve the objective of assessing the credibility of a hypothesis, and the distinction between confidence and probability is an unnecessary confusion. This paper proposes a more straightforward (probabilistic) definition of confidence, and suggests how the idea can be applied to whatever hypotheses are of interest to researchers. The relative merits of the different approaches are discussed using a series of illustrative examples: usually confidence based approaches seem more transparent and useful, but there are some contexts in which p values may be appropriate. I also suggest some methods for converting results from one format to another. (The attractiveness of the idea of confidence is demonstrated by the widespread persistence of the completely incorrect idea that p=5% is equivalent to 95% confidence in the alternative hypothesis. In this paper I show how p values can be used to derive meaningful confidence statements, and the assumptions underlying the derivation.) Key words: Confidence interval, Confidence level, Hypothesis testing, Null hypothesis significance tests, P value, User friendliness.

研究动机与目标

• 解决研究中p值和零假设显著性检验的广泛误用与误读问题。
• 通过提出更清晰的概率化置信定义，解决置信区间与概率之间的混淆。
• 展示在特定假设下，p值如何被有意义地转化为关于假设的置信陈述。
• 提升跨学科研究人员在统计结果透明度与可解释性方面的表现。
• 提供在p值与基于置信的格式之间转换结果的实用方法。

提出的方法

• 提出置信的新概率解释，将其视为对假设信念的直接度量，而非频率学派的覆盖概率。
• 在关于先验合理性与错误率的特定假设下，将p值重新解释为对备择假设的置信陈述。
• 使用示例对比基于置信的方法与p值，突出其在清晰度与可解释性方面的优势。
• 引入p值与置信陈述之间的转换技术，使研究人员能够跨格式转换结果。
• 强调在从p值推导置信时明确陈述假设的重要性，以避免误读。
• 倡导基于置信的推断作为零假设显著性检验更直观、更用户友好的替代方案。

实验结果

研究问题

• RQ1 与p值相比，概率化的置信定义是否能提升统计结果的可解释性？
• RQ2 在何种假设下，p值可以被有意义地转化为关于假设的置信陈述？
• RQ3 在透明度与清晰度方面，基于置信的推断与零假设显著性检验相比如何？
• RQ4 在哪些研究情境中，尽管存在局限性，p值仍可能适用？
• RQ5 研究人员可采用哪些实用方法在p值与基于置信的格式之间转换结果？

主要发现

• 与传统的p值相比，概率化重新定义的置信提供了一种更直观、更透明的假设评估方法。
• 广泛存在的误解——即p = 5% 意味着对备择假设有95%的置信度——在明确陈述特定假设的前提下，被证明在逻辑上是站得住脚的。
• 在所呈现的示例中，基于置信的方法在清晰度与可解释性方面始终优于p值。
• 在明确承认底层假设的前提下，p值与置信陈述之间的转换方法是可行且有用的。
• 仍存在一些特定情境，p值可能依然适用，特别是当与清晰的效果量和上下文信息结合时。
• 本文表明，当置信被正确定义时，可作为零假设显著性检验的可信且用户友好的替代方案。