[论文解读] A brief history of the Fail Safe Number in Applied Research

Moritz Heene|arXiv (Cornell University)|Oct 12, 2010

Paranormal Experiences and Beliefs参考文献 5被引用 6

一句话总结

本文追溯了罗森塔尔的失败安全数（FSN）的历史发展及其在元分析中的关键接受度，该统计量用于估计为使显著效应量失效所需未发表研究的数量。文章强调了早期的批评意见，尤其是埃拉肖夫（1978）对FSN假设无偏平均的质疑，揭示了其在后期正式批评出现之前就已存在的根本性缺陷，并质疑这些批评是否真正影响了元分析实践或手册的编写。

ABSTRACT

Rosenthal's (1979) Fail-Safe-Number (FSN) is probably one of the best known statistics in the context of meta-analysis aimed to estimate the number of unpublished studies in meta-analyses required to bring the meta-analytic mean effect size down to a statistically insignificant level. Already before Scargle's (2000) and Schonemann & Scargle's (2008) fundamental critique on the claimed stability of the basic rationale of the FSN approach, objections focusing on the basic assumption of the FSN which treats the number of studies as unbiased with averaging null were expressed throughout the history of the FSN by different authors (Elashoff, 1978; Iyengar & Greenhouse, 1988a; 1988b; see also Scargle, 2000). In particular, Elashoff's objection appears to be important because it was the very first critique pointing directly to the central problem of the FSN: "R & R claim that the number of studies hidden in the drawers would have to be 65,000 to achieve a mean effect size of zero when combined with the 345 studies reviewed here. But surely, if we allowed the hidden studies to be negative, on the average no more than 345 hidden studies would be necessary to obtain a zero mean effect size" (p. 392). Thus, users of meta-analysis could have been aware right from the beginning that something was wrong with the statistical reasoning of the FSN. In particular, from an applied research perspective, it is therefore of interest whether any of the fundamental objections on the FSN are reflected in standard handbooks on meta-analysis as well as -and of course even more importantly- in meta-analytic studies itself.

研究动机与目标

• 考察应用元分析研究中失败安全数（FSN）的历史演变。
• 识别并分析对FSN的早期批评，特别是针对其核心统计假设的批评。
• 评估对FSN的根本性反对意见是否反映在标准元分析手册或实际元分析研究中。
• 澄清尽管FSN在应用研究中广泛使用，其概念仍存在不稳定性。

提出的方法

• 系统回顾自罗森塔尔（1979）提出FSN以来至关键批评意见的学术文献。
• 分析埃拉肖夫（1978）、艾延加与格林豪斯（1988a, 1988b）以及斯卡格勒（2000）对FSN假设的奠基性批评。
• 评估FSN的方法论基础，特别是其假设未发表研究在零值周围均匀分布。
• 将FSN的理论基础与元分析手册及研究中的实际应用进行比较。
• 运用历史叙事方法，追踪尽管早期已有警告，但错误推理在元分析中持续存在的现象。
• 聚焦于其逻辑不一致之处：即仅假设为正的未发表研究可中和效应，而忽略了负值研究的可能性。

实验结果

研究问题

• RQ1 为何尽管对FSN的统计假设存在早期批评，它仍被广泛使用？
• RQ2 在20世纪末之前，FSN基础原理中存在哪些关键概念缺陷？
• RQ3 埃拉肖夫（1978）的批评如何挑战FSN关于平均零效应的核心假设的有效性？
• RQ4 元分析方法手册在多大程度上承认或采纳了对FSN的早期反对意见？
• RQ5 为何FSN在存在逻辑矛盾的情况下仍作为应用元分析中的标准度量持续存在？

主要发现

• 埃拉肖夫（1978）首次直接挑战FSN的假设，指出若允许负值研究存在，仅需345项未发表研究——而非65,000项——即可使平均效应量降至零。
• FSN的核心假设——即未发表研究在零值周围均匀分布，且仅正向研究可抵消效应——在逻辑上存在缺陷，违背了基本统计原理。
• 尽管埃拉肖夫提出了早期批评，FSN在元分析实践中仍持续使用，且未得到显著的方法论修正。
• 斯卡格勒（2000）及舒翁内曼与斯卡格勒（2008）的后续批评确认了FSN逻辑基础的不稳定性，但其根本缺陷早在二十多年前已被识别。
• FSN在应用研究中的持续存在表明，元分析文献中理论批评与实际采纳之间存在脱节。
• 本文结论认为，FSN的持续使用反映出未能将早期实质性批评整合进标准元分析实践或教育材料中。