[论文解读] Hidden Multiplicity in Multiway ANOVA: Prevalence, Consequences, and Remedies

Angélique O. J. Cramer, Don van Ravenzwaaij+6 more|arXiv (Cornell University)|Dec 10, 2014

Statistical Methods in Clinical Trials参考文献 32被引用 5

一句话总结

本文揭示，多因素方差分析（multiway ANOVA）本质上涉及多重比较问题，因为三个独立的零假设（两个主效应，一个交互作用）在显著性水平α设为5%时，会使第一类错误率膨胀至14%。研究显示，研究人员极少对此进行校正，而应用序列Bonferroni校正后，60篇分析文章中有75%的结论发生变化，因此本文主张采用校正方法和事前注册以应对隐藏的多重性问题。

ABSTRACT

Many empirical researchers do not realize that the common multiway analysis of variance (ANOVA) harbors a multiple comparison problem. In the case of two factors, three separate null hypotheses are subject to test (i.e., two main effects and one interaction). Consequently, the probability of at least one Type I error (if all null hypotheses are true) is 14% rather than 5% if the three tests are independent. We explain the multiple comparison problem and demonstrate that researchers almost never correct for it. We describe one of several correction procedures (i.e., sequential Bonferroni), and show that its application alters at least one of the substantive conclusions in 45 out of 60 articles considered. An additional method to mitigate the multiplicity in multiway ANOVA is preregistration of hypotheses.

研究动机与目标

• 揭示多因素方差分析中被忽视的多重比较问题，其中三个独立检验使家庭错误率从5%上升至14%。
• 记录研究人员在已发表研究中几乎完全未能对这种多重性进行校正的事实。
• 评估校正程序（特别是序列Bonferroni）对实证文章实质性结论的影响。
• 提出补救措施，包括统计校正和事前注册，以减轻多因素方差分析中因隐藏多重性导致的假阳性风险。

提出的方法

• 识别多因素方差分析中测试的三个零假设：两个主效应和一个交互作用，每个均在α = 0.05水平下检验。
• 在三个检验相互独立的假设下，计算家庭错误率（FWER），结果得出至少犯一次第一类错误的概率为14%。
• 应用序列Bonferroni校正程序，通过将p值按顺序排列，并与逐步降低的显著性水平（如α/k, α/(k-1), 等）进行比较。
• 系统审查60篇使用多因素方差分析的实证文章，评估未经校正的p值是否导致显著结果，以及校正是否会改变结论。
• 将事前注册作为方法论补救措施，预先规定研究假设，以降低多因素方差分析中数据驱动推断的风险。

实验结果

研究问题

• RQ1 当在α = 0.05水平下测试三个独立零假设时，双因素多因素方差分析的实际家庭错误率是多少？
• RQ2 在实际研究中，研究人员在多因素方差分析中对多重比较问题的校正程度如何？
• RQ3 应用序列Bonferroni校正后，改变已发表多因素方差分析研究实质性结论的频率有多高？
• RQ4 有哪些可行的统计与方法论补救措施，可降低多因素方差分析中因隐藏多重性导致的第一类错误风险？

主要发现

• 当所有零假设为真时，双因素多因素方差分析中若进行三个独立检验，家庭错误率可达14%，显著高于名义上的5%显著性水平。
• 尽管其统计影响广为人知，研究人员在多因素方差分析中几乎从不对此类多重性问题进行校正。
• 在所审查的60篇文章中，有45篇（75%）在应用序列Bonferroni校正后，至少有一个实质性结论发生变化。
• 该校正程序通过逐步调整p值以控制家庭错误率，降低了假阳性结果的可能性。
• 事前注册被认定为一种稳健的方法论补救措施，可防止数据驱动的假设检验，从而减少与多重性相关的错误。