[论文解读] Appropriate Methodology of Statistical Tests According to Prior Probability and Required Objectivity

Tomokazu Konishi|arXiv (Cornell University)|Apr 13, 2011

Gene expression and cancer classification参考文献 22被引用 14

一句话总结

本文主张p值解释与假设检验方法必须根据先验概率和所需的客观性进行调整，通过微阵列数据证明，在不同原假设概率下p值表现不同。文章提倡根据情境选择检验方法——尤其在先验概率较低或客观性要求较高时优先采用贝叶斯方法——从而解决不同学科中统计推断的不一致性问题。

ABSTRACT

In contrast to its common definition and calculation, interpretation of p-values diverges among statisticians. Since p-value is the basis of various methodologies, this divergence has led to a variety of test methodologies and evaluations of test results. This chaotic situation has complicated the application of tests and decision processes. Here, the origin of the divergence is found in the prior probability of the test. Effects of difference in Pr(H0 = true) on the character of p-values are investigated by comparing real microarray data and its artificial imitations as subjects of Student's t-tests. Also, the importance of the prior probability is discussed in terms of the applicability of Bayesian approaches. Suitable methodology is found in accordance with the prior probability and purpose of the test.

研究动机与目标

• 解决不同统计学界对p值解释的不一致性问题。
• 研究原假设的先验概率（Pr(H0 = true)）如何影响p值行为与检验的可靠性。
• 根据先验概率和推断所需的客观性水平，确定适当的统计方法。
• 评估在先验概率较低的情境下，贝叶斯方法的适用性。
• 提供一个将检验方法与数据特征及研究背景相匹配的框架。

提出的方法

• 通过在已知原假设条件下生成的人工数据与真实微阵列数据进行比较，模拟不同的先验概率。
• 对真实数据和合成数据集均应用学生t检验，以评估在不同Pr(H0 = true)水平下p值的行为。
• 在不同先验假设下，评估第一类错误率和第二类错误率以及阳性预测值（PPV）。
• 评估贝叶斯方法在先验概率较低情境下的表现，特别是其对假发现率的控制能力。
• 通过基于模拟的比较，展示当忽略先验可接受性时，p值如何产生误导。
• 构建一个决策框架，将检验方法与先验概率及客观性要求相联系。

实验结果

研究问题

• RQ1 原假设的先验概率在多大程度上影响统计检验中p值的解释与可靠性？
• RQ2 在选择统计检验时忽略先验概率会带来什么后果，特别是在高通量生物学数据中？
• RQ3 在原假设H0的先验可接受性较低时，贝叶斯方法相较于频率学派p值在哪些情境下更为合适？
• RQ4 在不同先验假设下，真实微阵列数据的p值与具有已知原分布的人工数据的p值有何差异？
• RQ5 在统计检验中，应依据哪些标准来指导在频率学派与贝叶斯方法之间的选择？

主要发现

• p值的行为因原假设的先验概率不同而表现出差异，挑战了其普遍解释的合理性。
• 当H0为真的先验概率较低时，仅依赖p值会高估对原假设的证据，从而提高假发现率。
• 在已知原假设条件的人工数据中发现，若忽略先验可接受性，p值具有误导性。
• 在先验概率较低的情境下，贝叶斯方法显著改善了错误控制与阳性预测值，尤其在微阵列等高维数据中表现更优。
• 本研究证明，检验方法必须根据先验概率和推断所需的客观性水平进行调整。
• 提出了一种情境敏感的框架，其中检验选择取决于先验可接受性与客观性需求，从而解决了统计实践中的一致性问题。