[논문 리뷰] Empirical estimates suggest most published medical research is true

Leah R. Jager, Jeffrey T. Leek|arXiv (Cornell University)|2013. 01. 16.

Meta-analysis and systematic reviews참고 문헌 24인용 수 6

한 줄 요약

이 연구는 2000~2010년 사이에 출판된 다섯 본격적인 의학 저널( Lancet, JAMA, NEJM, BMJ, AJE)의 77,430편의 논문에서 얻은 P-값을 분석하여, 대부분의 의학 연구가 잘못되었다는 주장의 재평가를 수행한다. 유전체학에서 유도된 경험적 추정 방법을 적용하여, 거짓 양성률을 14% (표준오차 1%)로 추정하였으며, 시간 경과나 저널 제출량 증가와의 상관관계는 유의미하지 않아, 의학 문헌이 여전히 신뢰할 수 있음을 시사한다.

ABSTRACT

The accuracy of published medical research is critical both for scientists, physicians and patients who rely on these results. But the fundamental belief in the medical literature was called into serious question by a paper suggesting most published medical research is false. Here we adapt estimation methods from the genomics community to the problem of estimating the rate of false positives in the medical literature using reported P-values as the data. We then collect P-values from the abstracts of all 77,430 papers published in The Lancet, The Journal of the American Medical Association, The New England Journal of Medicine, The British Medical Journal, and The American Journal of Epidemiology between 2000 and 2010. We estimate that the overall rate of false positives among reported results is 14% (s.d. 1%), contrary to previous claims. We also find there is not a significant increase in the estimated rate of reported false positive results over time (0.5% more FP per year, P = 0.18) or with respect to journal submissions (0.1% more FP per 100 submissions, P = 0.48). Statistical analysis must allow for false positives in order to make claims on the basis of noisy data. But our analysis suggests that the medical literature remains a reliable record of scientific progress.

연구 동기 및 목표

• 보고된 P-값을 사용하여 출판된 의학 연구의 신뢰성, 특히 거짓 양성 결과의 비율을 추정하는 것.
• 의학 연구의 대부분이 잘못되었다는 널리 인용되는 주장에 도전하는 것.
• 실제 의학 문헌에 적용된 유전체학에서 유도된 통계적 추정 기법을 사용하여 보고된 P-값을 분석하는 것.
• 2000~2010년 기간 동안 시간 경과와 저널 제출량에 따른 거짓 양성률의 추세를 평가하는 것.

제안 방법

• 2000~2010년 사이에 The Lancet, JAMA, NEJM, BMJ, AJE에서 출판된 77,430편의 의학 연구 논문 초록에서 P-값을 수집하였다.
• 유전체학에서 유도된 경험적 베이즈 추정 기법을 적용하여 P-값 분포를 모델링하고 거짓 양성률을 추정하였다.
• 관측된 P-값 분포를 바탕으로 진정한 양성과 거짓 양성을 구분하기 위해 혼합 모델을 사용하였다.
• 유의수준(α = 0.05) 이하의 P-값 중 귀무가설에서 기인한 비율로 거짓 양성률을 추정하였다.
• 효과 크기의 사전 분포에 대한 다양한 가정 하에 추정치의 안정성을 평가하기 위해 민감도 분석을 수행하였다.
• P-값을 결과로 사용하는 회귀 모델을 통해 거짓 양성률의 시간적 추세와 제출량 변화에 대한 영향을 검증하였다.

실험 결과

연구 질문

• RQ1 보고된 P-값을 바탕으로 출판된 의학 연구에서 추정되는 거짓 양성 결과의 비율은 무엇인가?
• RQ2 2000~2010년 사이에 주요 의학 저널에서 거짓 양성 결과의 비율이 시간이 지남에 따라 증가했는가?
• RQ3 저널 제출량과 거짓 양성 결과 비율 사이에 유의미한 상관관계가 있는가?
• RQ4 관측된 P-값 분포는 귀무가설 하에서 예상되는 분포와 어떻게 비교되는가?
• RQ5 재현성에 대한 우려에도 불구하고, 의학 문헌이 과학 지식의 신뢰할 수 있는 기록으로 남아 있는 정도는 어느 정도인가?

주요 결과

• 전체 77,430편의 의학 논문에서 추정된 거짓 양성률은 14%이며, 표준오차는 1%이다.
• 시간 경과에 따른 거짓 양성률의 유의미한 증가는 없으며, 연간 약 0.5%의 증가 추정치( p = 0.18)를 보였다.
• 저널 제출량과 거짓 양성률 사이에 유의미한 상관관계는 없었으며, 제출 100건당 0.1%의 증가 추정치( p = 0.48)를 보였다.
• 관측된 P-값 분포는 대부분의 연구가 진정한 양성 또는 거짓 양성일 가능성이 높으며, 광범위한 편향이나 체계적 오류의 증거가 거의 없는 모델과 일치한다.
• 결과적으로, 대부분의 출판된 연구가 잘못되었다는 주장에 반해, 의학 문헌은 과학적 진전의 신뢰할 수 있는 기록으로 남아 있음을 시사한다.