[论文解读] Hidden Multiplicity in Multiway ANOVA: Prevalence and Remedies
本文揭示了在多因素方差分析中隐藏的多重比较问题，当同时检验主效应和交互作用时，若所有零假设均为真，第一类错误率会从5%膨胀至14%。本文提出了四种补救措施——整体F检验、家庭错误率控制、错误发现率控制以及预先注册，以缓解此问题，并展示了心理学研究中普遍存在未校正此问题的现象。
Many psychologists do not realize that exploratory use of the popular multiway analysis of variance (ANOVA) harbors a multiple comparison problem. In the case of two factors, three separate null hypotheses are subject to test (i.e., two main effects and one interaction). Consequently, the probability of at least one Type I error (if all null hypotheses are true) is 14% rather than 5% if the three tests are independent. We explain the multiple comparison problem and demonstrate that researchers almost never correct for it. To mitigate the problem, we describe four remedies: the omnibus F test, the control of familywise error rate, the control of false discovery rate, and the preregistration of hypotheses.
研究动机与目标
- 揭示在探索性多因素方差分析中被忽视的多重比较问题，即在未校正的情况下同时检验多个假设。
- 证明当在原假设下同时检验两个主效应和一个交互作用时，至少犯一次第一类错误的概率上升至14%，而非名义上的5%。
- 记录在已发表的心理学研究中，研究人员几乎完全未对这种多重性进行校正。
- 提出并评估四种实用的补救措施，以控制多因素方差分析设计中增加的错误率。
- 通过预先注册和正式的错误率控制，倡导改进心理实验中的统计实践。
提出的方法
- 通过统计功效和错误率模拟，作者建模了在双因素方差分析中同时检验三个独立零假设（两个主效应和一个交互作用）时的家庭错误率（FWER）。
- 提出整体F检验作为全局检验方法，仅在发现显著总体效应后才进行个体假设检验。
- 采用如Bonferroni校正等方法实施家庭错误率（FWER）控制，以在多次检验中保持总体显著性水平。
- 引入错误发现率（FDR）控制作为FWER的较不严格替代方法，尤其适用于比较次数较多的情形。
- 建议通过预先注册假设作为方法论上的补救措施，以防止p-hacking，并降低探索性分析中第一类错误的风险。
- 本文使用理论推导和模拟，比较了各种校正策略与标准实践下的错误率。
实验结果
研究问题
- RQ1在多因素方差分析中同时检验多个效应，会将第一类错误率膨胀至超过名义上的5%水平吗？
- RQ2为何多因素方差分析中的多重比较问题在心理学研究中常被忽视？
- RQ3诸如Bonferroni校正和FDR等标准校正方法在多因素方差分析中控制第一类错误率的效果如何？
- RQ4在多因素方差分析设计中，预先注册假设在实际和方法论上有哪些益处？
- RQ5在使用多因素方差分析的已发表心理学研究中，缺乏多重性校正的现象有多普遍？
主要发现
- 当双因素方差分析中的三个零假设均为真且独立检验时，由于多重性的影响，至少犯一次第一类错误的概率上升至14%，而非5%。
- 研究发现，尽管第一类错误率被显著高估，研究人员在多因素方差分析中几乎从未应用多重比较校正。
- 整体F检验通过在发现显著总体效应前推迟个体检验，降低了第一类错误的风险。
- 通过Bonferroni校正实施的家庭错误率控制能有效维持总体显著性水平，但可能降低统计功效。
- 错误发现率控制为FWER控制提供了一种更强大的替代方案，尤其在预期存在大量比较时更为适用。
- 预先注册假设被证明是一种稳健的非统计学补救措施，可防止数据挖掘，提升探索性方差分析的可重复性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。