[论文解读] A Generalized Publication Bias Model

Peter H. Schönemann, Jeffrey D. Scargle|arXiv (Cornell University)|Mar 1, 2008

Meta-analysis and systematic reviews参考文献 9被引用 10

一句话总结

本文通过引入一种无需分布假设、基于概率质量的模型，推广了Scargle对Rosenthal和Rubin的失败安全数（FSN）方法的批评，简化了发表偏倚的分析。研究表明，未发表研究与已发表研究的比例在很大程度上取决于第一类错误率α和步长β，且该框架可推广至无需分布假设的多区间选择函数。

ABSTRACT

Scargle (2000) has discussed Rosenthal and Rubin's (1978) fail-safe number” (FSN) method for estimating the number of unpublished studies in meta-analysis. He concluded that this FSN cannot possibly be correct because a central assumption the authors used conflicts with the very definition of publication bias. While this point has been made by others before (Darlington, 1980; Elsahoff, 1978; lyengar & Greenhouse, 1988; Thomas, 1985), Scargle showed, by way of a simple 2-parameter model, how far off Rosenthal and Rubin's estimate can be in practice. However, his results relied on the assumption that the decision variable is normally distributed with zero mean. In this case the ratio of unpublished to published papers is large only in a tiny region of the parameter plane. Building on these results, we now show that (1) replacing densities with probability masses greatly simplifies Scargle's derivations and permits an explicit statement of the relation between the probability a of Type I errors and the step-size β; (2) this result does not require any distribution assumptions; (3) the distinction between 1-sided and 2-sided rejection regions becomes immaterial; (4) this distribution-free approach leads to an immediate generalization to partitions involving more than two intervals, and thus covers more general selection functions.

研究动机与目标

• 通过挑战发表偏倚核心假设，解决Rosenthal和Rubin的失败安全数（FSN）方法的根本缺陷。
• 通过用概率质量替代概率密度，简化Scargle的两参数正态模型。
• 消除在建模发表偏倚时对分布假设的需求。
• 将框架推广至涉及多于两个区间的选取函数（例如，多个显著性区域）。

提出的方法

• 用离散概率质量代替连续概率密度，以建模检验统计量的分布。
• 明确建模第一类错误率α与步长β之间的关系，以确定未发表与已发表研究的比例。
• 以两区间划分（显著 vs. 非显著）作为基准情形，随后推广至k区间排斥区域。
• 证明在新公式下，单侧检验与双侧检验之间的区别变得无关紧要。
• 直接从α和β推导发表偏倚比率，无需假设正态性或对称性。
• 将模型应用于定义在多个区间上的任意选取函数，实现更广泛的应用性。

实验结果

研究问题

• RQ1 在发表偏倚的真实定义下，失败安全数方法为何会失效？
• RQ2 是否可以在不假设特定分布的前提下，对未发表与已发表研究之间的关系进行建模？
• RQ3 第一类错误率α与步长β在决定发表偏倚程度中起什么作用？
• RQ4 单侧检验与双侧检验之间的区别是否会影响未发表研究的估计？
• RQ5 该模型能否推广至具有多于两个显著性区域的选取函数？

主要发现

• 未发表与已发表研究的比例对α与β的组合高度敏感，仅在参数空间的狭窄区域内出现极大比例。
• 用概率质量替代概率密度可简化推导过程，并能为发表偏倚比率提供显式解析表达式。
• 该模型为无分布假设模型，即无需对检验统计量的底层分布做任何假设。
• 在新公式下，单侧检验与双侧检验之间的区别变得无关紧要。
• 该框架可自然推广至涉及多于两个区间的选取函数，从而能够对复杂显著性标准进行建模。
• 结果证实了Scargle的批评，并表明在现实参数设定下，Rosenthal和Rubin的FSN方法可能严重误导。