[论文解读] Footprint of publication selection bias on meta-analyses in medicine, environmental sciences, psychology, and economics

Frantis̆ek Bartos̆, Maximilian Maier+10 more|arXiv (Cornell University)|Aug 25, 2022

Meta-analysis and systematic reviews参考文献 37被引用 13

一句话总结

本研究利用先进的统计方法检测偏见痕迹，调查了医学、环境科学、心理学和经济学领域元分析中的发表选择偏倚。在调整发表偏倚后，中位数效应量显著下降——尤其在经济学（d 从 0.20 降至 0.07）和心理学（d 从 0.37 降至 0.26）中最为明显，揭示了跨学科科学证据综合中普遍存在的扭曲现象。

ABSTRACT

Publication selection bias undermines the systematic accumulation of evidence. To assess the extent of this problem, we survey over 68,000 meta-analyses containing over 700,000 effect size estimates from medicine (67,386/597,699), environmental sciences (199/12,707), psychology (605/23,563), and economics (327/91,421). Our results indicate that meta-analyses in economics are the most severely contaminated by publication selection bias, closely followed by meta-analyses in environmental sciences and psychology, whereas meta-analyses in medicine are contaminated the least. After adjusting for publication selection bias, the median probability of the presence of an effect decreased from 99.9% to 29.7% in economics, from 98.9% to 55.7% in psychology, from 99.8% to 70.7% in environmental sciences, and from 38.0% to 29.7% in medicine. The median absolute effect sizes (in terms of standardized mean differences) decreased from d = 0.20 to d = 0.07 in economics, from d = 0.37 to d = 0.26 in psychology, from d = 0.62 to d = 0.43 in environmental sciences, and from d = 0.24 to d = 0.13 in medicine.

研究动机与目标

• 评估发表选择偏倚（PSB）在医学、环境科学、心理学和经济学四个科学领域中元分析中的程度及其影响。
• 调查PSB是否导致效应量的过度估计以及元分析中效应存在的证据被夸大。
• 使用最先进的统计技术检测偏见痕迹，比较各学科中PSB的相对严重程度。
• 评估方法论差异（如临床试验注册或研究透明度）是否可解释PSB普遍性在不同学科中的差异。
• 强调需要改革，如预先注册和注册报告，以减少科学证据综合中的偏倚。

提出的方法

• 从四个领域收集了超过 68,000 项元分析：医学（Cochrane）、环境科学（Deresssa 等人）、心理学（Stanley & Sladekova）和经济学（Ioannidis 等人）。
• 选取至少包含三个效应量估计值的元分析，使用标准化指标（如Cohen's d、对数似然比）以实现跨学科可比性。
• 应用统计技术通过分析效应量与标准误之间相关性等模式，检测发表选择偏倚。
• 使用标准化证据膨胀因子调整元分析内部依赖性，减少对证据强度的过度估计。
• 采用模型比较方法，估计在调整PSB前后效应存在的概率及效应量的大小。
• 进行敏感性分析以评估稳健性，特别是在元分析内部依赖性较高的领域（如经济学、环境科学）中。

实验结果

研究问题

• RQ1 在医学、环境科学、心理学和经济学的元分析中，发表选择偏倚在多大程度上可被检测到？
• RQ2 发表选择偏倚在多大程度上影响了这些领域中效应存在的估计概率？
• RQ3 在每个学科中，调整发表选择偏倚后，中位数效应量的减少幅度是多少？
• RQ4 为何医学领域的元分析受发表选择偏倚的影响小于心理学、环境科学和经济学领域的元分析？
• RQ5 哪些方法论或结构性因素可能解释科学学科之间发表偏倚差异的观察结果？

主要发现

• 在调整发表选择偏倚后，经济学中效应存在的中位数概率从 99.9% 降至 29.7%，表明证据强度被严重高估。
• 在心理学中，效应存在的中位数概率在偏倚调整后从 98.9% 降至 55.7%，揭示了证据综合中存在显著扭曲。
• 在环境科学中，效应存在的中位数概率在调整后从 99.8% 降至 70.7%，表明存在显著但较经济学和心理学领域轻微的偏倚。
• 在医学中，效应存在的中位数概率在调整后从 38.0% 降至 29.7%，表明即使在医学领域，发表偏倚也扭曲了元分析结论。
• 在偏倚校正后，中位数标准化均差（Cohen's d）在经济学中从 0.20 降至 0.07，在心理学中从 0.37 降至 0.26，在环境科学中从 0.62 降至 0.43，在医学中从 0.24 降至 0.13。
• 本研究得出结论：发表选择偏倚在经济学中最严重，其次是环境科学和心理学，而医学的污染程度最低，但仍具有显著影响。