[论文解读] Empirical estimates suggest most published medical research is true

Leah R. Jager, Jeffrey T. Leek|arXiv (Cornell University)|Jan 16, 2013

Meta-analysis and systematic reviews参考文献 24被引用 6

一句话总结

本研究通过分析2000至2010年间五本顶级医学期刊（《柳叶刀》、《JAMA》、《新英格兰医学杂志》、《BMJ》和《AJE》）发表的77,430篇论文的P值，重新评估了‘大多数已发表医学研究为假’这一说法。采用源自基因组学的实证估计方法，作者估计假阳性率为14%（标准误1%），且随时间或期刊投稿量增加无显著上升趋势，表明医学文献整体仍具高度可靠性。

ABSTRACT

The accuracy of published medical research is critical both for scientists, physicians and patients who rely on these results. But the fundamental belief in the medical literature was called into serious question by a paper suggesting most published medical research is false. Here we adapt estimation methods from the genomics community to the problem of estimating the rate of false positives in the medical literature using reported P-values as the data. We then collect P-values from the abstracts of all 77,430 papers published in The Lancet, The Journal of the American Medical Association, The New England Journal of Medicine, The British Medical Journal, and The American Journal of Epidemiology between 2000 and 2010. We estimate that the overall rate of false positives among reported results is 14% (s.d. 1%), contrary to previous claims. We also find there is not a significant increase in the estimated rate of reported false positive results over time (0.5% more FP per year, P = 0.18) or with respect to journal submissions (0.1% more FP per 100 submissions, P = 0.48). Statistical analysis must allow for false positives in order to make claims on the basis of noisy data. But our analysis suggests that the medical literature remains a reliable record of scientific progress.

研究动机与目标

• 通过估计假阳性结果的比例，评估已发表医学研究的可靠性。
• 挑战广为引用的‘大多数已发表医学研究为假’这一说法。
• 将基因组学中的统计估计技术应用于基于报告P值的真实世界医学文献。
• 评估2000至2010年间假阳性率随时间的变化趋势及在不同期刊投稿量下的表现。

提出的方法

• 从2000至2010年间发表于《柳叶刀》、《JAMA》、《新英格兰医学杂志》、《BMJ》和《AJE》的77,430篇医学研究论文的摘要中收集P值。
• 应用源自基因组学的贝叶斯经验估计技术，对P值分布进行建模并估计假阳性率。
• 使用混合模型，基于观察到的P值分布区分真阳性与假阳性结果。
• 将假阳性率估计为低于显著性阈值（α = 0.05）的P值中来自原假设的比例。
• 通过敏感性分析评估在不同效应大小先验分布假设下估计结果的稳健性。
• 使用以P值为因变量的回归模型，检验假阳性率在时间及投稿量上的趋势。

实验结果

研究问题

• RQ1 基于报告的P值，已发表医学研究中假阳性结果的估计率是多少？
• RQ2 2000至2010年间，主要医学期刊中假阳性结果的比率是否呈上升趋势？
• RQ3 期刊投稿量与假阳性结果比率之间是否存在显著关联？
• RQ4 观察到的P值分布与原假设下的预期分布相比如何？
• RQ5 尽管存在可重复性方面的担忧，医学文献在多大程度上仍是科学知识的可靠来源？

主要发现

• 在全部77,430篇医学论文中，假阳性率估计为14%，标准误为1%。
• 假阳性率随时间无显著上升，年均仅增加0.5%（p = 0.18）。
• 期刊投稿量与假阳性率之间无显著关联，每增加100篇投稿，假阳性率仅上升0.1%（p = 0.48）。
• 观察到的P值分布与大多数研究为真阳性或假阳性、且无广泛偏差或系统性错误的模型一致。
• 结果表明，尽管存在争议，医学文献仍是科学进步的可靠记录，与‘大多数已发表研究为假’的说法相反。