[论文解读] A model of multiple hypothesis testing

Davide Viviano, Kaspar Wüthrich+1 more|ArXiv.org|Apr 27, 2021

Statistical Methods in Clinical Trials被引用 10

一句话总结

本文提出了一种多重假设检验（MHT）的经济模型，用以确定在何种情况下调整方法（如Bonferroni校正或错误发现率校正）具有经济效率。研究表明，当研究成本存在规模经济时，MHT调整会内生产生，最优调整取决于控制第一类错误与激励研究产出之间的权衡，且发现鉴于现实中的研究成本，标准程序往往过于保守。

ABSTRACT

Multiple hypothesis testing practices vary widely, without consensus on which are appropriate when. This paper provides an economic foundation for these practices designed to capture leading examples, such as regulatory approval on the basis of clinical trials. MHT adjustments are appropriate in our framework to the extent that research costs are invariant to the number of hypotheses. Control of average size, as for example via a Bonferroni correction, emerges in the limit case where all costs are fixed; in the opposite limit, where costs vary in proportion to the hypothesis count, no correction is needed. We illustrate implications by calculating explicit critical values using data on actual costs in the drug approval process and in program evaluation research; these suggest that some MHT adjustment is warranted in these applications, but not as much as implied by standard practice.

研究动机与目标

• 为多重假设检验（MHT）调整提供经济基础，超越纯粹的统计标准。
• 分析研究者激励与研究产出成本如何影响MHT调整的可取性。
• 确定经典错误控制方法（如族错误率）作为最优解的条件。
• 评估在实际研究成本背景下，标准MHT程序是否具有经济效率，或是否过于保守。
• 建模社会规划者设定检验规范与研究者做出成本高昂实验决策之间的互动。

提出的方法

• 形式化一个科学传播模型，其中仁慈的社会规划者设定MHT规则以最大化社会福利。
• 引入具有私人成本与公共收益的研究生产函数，建模研究者如何决定是否开展实验。
• 采用决策理论框架，研究者面临实验成本与拒绝原假设所带来的收益之间的权衡。
• 通过权衡第一类错误的概率与研究产出的激励，推导出最优MHT调整规则。
• 将模型应用于多种处理、子群体和结果，表明调整取决于研究成本的规模。
• 基于数据实证估计研究成本，表明虽有必要进行调整，但标准程序往往过于保守。

实验结果

研究问题

• RQ1 在何种经济条件下应实施多重假设检验调整？
• RQ2 研究产出中的规模经济如何影响多重检验中错误控制的最优水平？
• RQ3 在现实研究成本背景下，标准MHT程序（如Bonferroni）在多大程度上与经济效率一致？
• RQ4 在何种情况下使用单一指标处理多个结果，优于对多个指标使用调整检验？
• RQ5 研究者激励如何与规划者设计的检验规范相互作用，从而影响科学研究的可靠性和产出？

主要发现

• 只有当研究成本表现出规模经济时，MHT调整才具有经济效率，且并非普遍必需。
• 经典错误控制方法（如族错误率）仅在特定成本结构下成为最优解，并非普遍适用。
• 对研究成本的实证数据表明，尽管有必要进行调整，但标准程序（如Bonferroni）往往过于保守。
• 最优MHT规则取决于在最小化假阳性与维持足够研究者开展高成本实验的激励之间取得平衡。
• 对于多个结果，使用单一指标或对多个指标使用调整检验均可为最优，具体取决于目标受众的异质性。
• 该模型表明，研究者的收益必须与零和无穷保持一定距离，这限制了p值收敛的速度，从而影响了某些调整水平的可行性。