[論文レビュー] Empirical estimates suggest most published medical research is true

Leah R. Jager, Jeffrey T. Leek|arXiv (Cornell University)|Jan 16, 2013

Meta-analysis and systematic reviews参考文献 24被引用数 6

ひとこと要約

本研究は、2000年から2010年の間に発表された5つの主要医学雑誌（The Lancet, JAMA, NEJM, BMJ, AJE）の77,430編の論文から得られたP値を分析することで、多くの医学的研究が誤りであるという主張を再評価した。遺伝学分野で用いられる経験的推定手法を応用し、偽陽性率を14%（標準誤差1%）と推定した。時間経過やジャーナルへの提出件数の増加に伴い有意な上昇は認められず、医学文献全体が依然として信頼できる状態にあることが示唆された。

ABSTRACT

The accuracy of published medical research is critical both for scientists, physicians and patients who rely on these results. But the fundamental belief in the medical literature was called into serious question by a paper suggesting most published medical research is false. Here we adapt estimation methods from the genomics community to the problem of estimating the rate of false positives in the medical literature using reported P-values as the data. We then collect P-values from the abstracts of all 77,430 papers published in The Lancet, The Journal of the American Medical Association, The New England Journal of Medicine, The British Medical Journal, and The American Journal of Epidemiology between 2000 and 2010. We estimate that the overall rate of false positives among reported results is 14% (s.d. 1%), contrary to previous claims. We also find there is not a significant increase in the estimated rate of reported false positive results over time (0.5% more FP per year, P = 0.18) or with respect to journal submissions (0.1% more FP per 100 submissions, P = 0.48). Statistical analysis must allow for false positives in order to make claims on the basis of noisy data. But our analysis suggests that the medical literature remains a reliable record of scientific progress.

研究の動機と目的

• 報告されたP値を用いて、出版済み医学研究の信頼性を推定し、偽陽性結果の発生率を評価すること。
• 多くの医学的研究が誤りであるという広く引用されている主張に反論すること。
• 実世界の医学文献に、遺伝学分野の統計的推定手法を応用し、報告されたP値を用いて分析すること。
• 2000年から2010年の間における主要医学雑誌における偽陽性率の動向を評価すること。

提案手法

• 2000年から2010年の間にThe Lancet, JAMA, NEJM, BMJ, AJEに発表された77,430件の医学研究論文の要旨からP値を収集した。
• 遺伝学分野で用いられる経験的ベイズ推定手法を応用し、P値の分布をモデル化し、偽陽性率を推定した。
• 観察されたP値の分布に基づいて、真陽性と偽陽性を区別するための混合モデルを用いた。
• 有意水準（α = 0.05）未満のP値のうち、帰無仮説から生じる割合として偽陽性率を推定した。
• 効果量の事前分布に関する仮定の変化に伴う推定値の頑健性を評価するための感度分析を実施した。
• P値を従属変数として用いた回帰モデルを用い、偽陽性率の時間的変化および提出件数との関連を検証した。

実験結果

リサーチクエスチョン

• RQ1 報告されたP値に基づいて、出版済み医学的研究における偽陽性結果の推定発生率はどの程度か？
• RQ2 2000年から2010年の間、主要医学雑誌における偽陽性結果の発生率は上昇したか？
• RQ3 ジャーナルへの提出件数と偽陽性結果の発生率の間に有意な相関があるか？
• RQ4 観察されたP値の分布は、帰無仮説の下で期待される分布とどのように異なるか？
• RQ5 再現性に関する懸念にもかかわらず、医学文献は科学的知識の信頼できる記録のままであると言えるか？

主な発見

• 77,430件の医学的論文全体における偽陽性率の推定値は14%（標準誤差1%）である。
• 時間経過に伴う偽陽性率の上昇は統計的に有意ではなく、年間でわずか0.5%の上昇（p = 0.18）と推定された。
• ジャーナルへの提出件数と偽陽性率との間に有意な関連は認められず、提出件数100件あたり0.1%の上昇（p = 0.48）と推定された。
• 観察されたP値の分布は、大多数の研究が真陽性または偽陽性であるモデルと整合的であり、広範なバイアスや系的誤差の明確な証拠は見いだせなかった。
• これらの結果は、多くの出版済み研究が誤りであるという主張とは対照的に、医学文献が科学的進歩の信頼できる記録のままであると示唆している。