[논문 리뷰] Footprint of publication selection bias on meta-analyses in medicine, environmental sciences, psychology, and economics

Frantis̆ek Bartos̆, Maximilian Maier외 10명|arXiv (Cornell University)|2022. 08. 25.

Meta-analysis and systematic reviews참고 문헌 37인용 수 13

한 줄 요약

이 연구는 의학, 환경 과학, 심리학, 경제학 분야의 메타분석에서 발행 선택 편향을 고급 통계 방법을 사용해 편향의 흔적을 탐지함으로써 조사한다. 발행 편향을 보정한 후 중앙값 효과 크기는 유의하게 감소하였으며, 특히 경제학(표준화된 평균 차이 d가 0.20에서 0.07으로), 심리학(표준화된 평균 차이 d가 0.37에서 0.26으로)에서 뚜렷하게 감소하여 다양한 분야에서 과학적 증거 통합에 광범위한 왜곡이 존재하는 것으로 드러났다.

ABSTRACT

Publication selection bias undermines the systematic accumulation of evidence. To assess the extent of this problem, we survey over 68,000 meta-analyses containing over 700,000 effect size estimates from medicine (67,386/597,699), environmental sciences (199/12,707), psychology (605/23,563), and economics (327/91,421). Our results indicate that meta-analyses in economics are the most severely contaminated by publication selection bias, closely followed by meta-analyses in environmental sciences and psychology, whereas meta-analyses in medicine are contaminated the least. After adjusting for publication selection bias, the median probability of the presence of an effect decreased from 99.9% to 29.7% in economics, from 98.9% to 55.7% in psychology, from 99.8% to 70.7% in environmental sciences, and from 38.0% to 29.7% in medicine. The median absolute effect sizes (in terms of standardized mean differences) decreased from d = 0.20 to d = 0.07 in economics, from d = 0.37 to d = 0.26 in psychology, from d = 0.62 to d = 0.43 in environmental sciences, and from d = 0.24 to d = 0.13 in medicine.

연구 동기 및 목표

• 의학, 환경 과학, 심리학, 경제학 분야에서 메타분석에 영향을 미치는 발행 선택 편향(PSB)의 정도와 영향을 평가하기 위해.
• PSB가 메타분석에서 효과 크기의 과대평가와 효과 존재에 대한 과도한 증거를 초래하는지 조사하기 위해.
• 편향의 흔적을 탐지하기 위해 최신 통계 기법을 사용해 각 분야 간 PSB의 상대적 심각도를 비교하기 위해.
• 임상 시험 등록이나 연구 투명성과 같은 방법론적 차이가 PSB 발생 빈도의 차이를 설명하는지 평가하기 위해.
• 편향을 줄이기 위해 사전 등록 및 등록 보고서와 같은 개혁이 과학적 증거 통합에 필수적임을 강조하기 위해.

제안 방법

• 의학(코크란), 환경 과학(Deresssa 등), 심리학(스탠리 & 슬라데코바), 경제학(Ioannidis 등) 분야에서 68,000건 이상의 메타분석을 수집하였다.
• 표준화된 척도(예: 코헨의 d, 로그 오즈비율)를 사용해 최소 3개 이상의 효과 크기 추정치를 포함한 메타분석을 선별하여 분야 간 비교 가능성을 확보하였다.
• 효과 크기와 표준오차 간 상관관계와 같은 패턴을 분석하여 발행 선택 편향을 탐지하기 위해 통계 기법을 적용하였다.
• 내부 메타분석 종속성을 보정하고 증거 강도의 과대평가를 줄이기 위해 표준화된 증거 과대평가 요소를 사용하였다.
• 메타분석 내 효과 존재 확률과 효과 크기의 크기를 PSB 보정 전후로 추정하기 위해 모델 비교를 실시하였다.
• 특히 내부 메타분석 종속성이 높은 분야(예: 경제학, 환경 과학)에서의 탄력성을 평가하기 위해 민감도 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 의학, 환경 과학, 심리학, 경제학 분야의 메타분석에서 발행 선택 편향은 어느 정도로 탐지 가능한가?
• RQ2 발행 선택 편향은 이 분야들의 메타분석에서 효과 존재 확률에 어떤 영향을 미치는가?
• RQ3 각 분야에서 발행 선택 편향을 보정한 후 중앙값 효과 크기의 감소 폭은 얼마인가?
• RQ4 왜 의학 분야의 메타분석은 심리학, 환경 과학, 경제학 분야의 메타분석보다 발행 선택 편향의 영향을 덜 받는가?
• RQ5 관찰된 과학 분야 간 편향의 차이를 설명할 수 있는 방법론적 또는 구조적 요인은 무엇인가?

주요 결과

• 발행 선택 편향을 보정한 후 경제학 분야에서 효과 존재 확률의 중앙값은 99.9%에서 29.7%로 감소하여 증거 강도 과대평가가 심각하게 발생했음을 시사한다.
• 심리학 분야에서는 효과 존재 확률의 중앙값이 보정 후 98.9%에서 55.7%로 감소하여 증거 통합 과정에서 상당한 왜곡이 발생했음을 드러냈다.
• 환경 과학 분야에서는 효과 존재 확률의 중앙값이 보정 후 99.8%에서 70.7%로 감소하여 심각도는 낮지만 여전히 명백한 편향이 존재함을 보여주었다.
• 의학 분야에서는 효과 존재 확률의 중앙값이 보정 후 38.0%에서 29.7%로 감소하여, 심지어 의학 분야에서도 발행 편향이 메타분석 결론을 왜곡함을 시사한다.
• 편향 보정 후 표준화된 평균 차이(Cohen’s d)는 경제학에서 0.20에서 0.07으로, 심리학에서 0.37에서 0.26으로, 환경 과학에서 0.62에서 0.43으로, 의학에서 0.24에서 0.13으로 감소하였다.
• 연구는 발행 선택 편향이 가장 심각한 분야가 경제학이며, 이어서 환경 과학과 심리학이었고, 의학 분야는 가장 낮은 오염 수준을 보였지만 여전히 유의미한 편향이 존재한다고 결론내렸다.