[논문 리뷰] Publication Bias (The "File-Drawer Problem") in Scientific Inference

Jeffrey D. Scargle|ArXiv.org|1999. 09. 17.

Meta-analysis and systematic reviews참고 문헌 40인용 수 315

한 줄 요약

이 논문은 메타분석에서 발표 편향을 평가하는 데 널리 사용되는 실패 안전 파일 서랍(FSFD) 방법에 도전하며, 단지 소수의 미발표 연구가 존재하는 것만으로도 통합된 통계적 결과가 심각하게 왜곡될 수 있음을 입증한다. 스카글은 선택 함수—절단, 단계, 매끄러운 함수—의 통계 모델을 사용하여 발표 편향이 효과 크기 추정치를 심각하게 왜곡함을 보이며, 이는 파일 서랍이 편향이 없음을 가정하기 때문에 FSFD가 신뢰할 수 없음을 의미한다.

ABSTRACT

Publication bias arises whenever the probability that a study is published depends on the statistical significance of its results. This bias, often called the file-drawer effect since the unpublished results are imagined to be tucked away in researchers' file cabinets, is potentially a severe impediment to combining the statistical results of studies collected from the literature. With almost any reasonable quantitative model for publication bias, only a small number of studies lost in the file-drawer will produce a significant bias. This result contradicts the well known Fail Safe File Drawer (FSFD) method for setting limits on the potential harm of publication bias, widely used in social, medical and psychic research. This method incorrectly treats the file drawer as unbiased, and almost always misestimates the seriousness of publication bias. A large body of not only psychic research, but medical and social science studies, has mistakenly relied on this method to validate claimed discoveries. Statistical combination can be trusted only if it is known with certainty that all studies that have been carried out are included. Such certainty is virtually impossible to achieve in literature surveys.

연구 동기 및 목표

• 연구 발표가 통계적 유의성에 의존하는 발표 편향이 통합된 통계 분석의 타당성에 어떻게 영향을 미치는지 조사하기 위해.
• 유의미한 결과를 무효화하기 위해 필요한 미발표 연구 수를 추정하는 데 널리 사용되는 실패 안전 파일 서랍(FSFD) 방법의 신뢰성에 도전하기 위해.
• 연구 결과(예: 검정 통계량 Z)에 따라 변하는 선택 함수를 사용하여 발표 편향의 통계 모델을 개발하고 분석하기 위해.
• 소수의 미발표 연구만으로도 발표 편향이 가짜 유의성 결과를 만들어내며, 이는 문헌 기반 메타분석에 대한 신뢰를 약화시킨다는 것을 입증하기 위해.
• 연구 등록과 같은 개선된 연구 관행을 통해 과학적 추론에서 발표 편향을 완화하기 위해.

제안 방법

• 선택 함수 S(Z)를 사용하여 발표 편향을 모델링하며, 여기서 S(Z)는 통계량 Z를 가진 연구가 발표될 확률이다.
• 세 가지 유형의 선택 함수를 분석: 절단(S(Z) = 0 for Z < Z₀, 1 이외의 경우), 단계(S₀ for Z < Z₀, 1 for Z ≥ Z₀), 그리고 매끄러운 함수.
• 이러한 모델 하에서 발표된 연구 수(N_pub)와 평균 발표 Z-통계량(Z̄_pub)에 대한 해석적 표현을 유도한다.
• 선택적 발표로 인한 Z̄_pub의 기대 편향을 계산하기 위해 오차 함수(erfc)와 정규 분포 적분을 사용한다.
• 소수의 미발표 연구가 초래하는 편향을 FSFD 방법의 가정과 결과와 비교한다.
• 매끄러운 전이를 포함한 다양한 선택 함수 형태에 대해 결과의 강건성을 평가하여 발견의 일관성을 확인한다.

실험 결과

연구 질문

• RQ1 단지 발표된 연구들만 포함된 경우 발표 편향이 통합된 통계 분석 결과에 어떻게 왜곡을 초래하는가?
• RQ2 실패 안전 파일 서랍(FSFD) 방법이 발표 편향의 영향을 추정하는 데 있어 근본적으로 왜 잘못되어 있는가?
• RQ3 소수의 미발표 연구가 메타분석에서 평균 효과 크기에 어떤 정량적 영향을 미치는가?
• RQ4 절단, 단계, 매끄러운 함수와 같은 다양한 선택 함수는 통계적 유의성에 따라 발표 확률을 어떻게 모델링하는가?
• RQ5 공개된 문헌의 통합 분석이 편향이 없음을 신뢰할 수 있는 조건은 무엇인가?

주요 결과

• 단지 수십 개의 미발표 연구만으로도 평균 발표 검정 통계량(Z̄_pub)에 심각한 편향을 유도하며, 이는 가짜 유의성 결과를 초래할 수 있다.
• 널리 사용되는 실패 안전 파일 서랍(FSFD) 방법은 근본적으로 잘못되어 있으며, 이는 파일 서랍이 편향이 없다고 가정하기 때문에 실제 결과를 무효화하기 위해 필요한 미발표 연구 수를 심각하게 과소평가한다.
• S₀ ≈ 0 이고 Z₀ >> 0 인 단계 선택 함수의 경우, 미발표 연구 수 대비 발표 연구 수의 비율(R = N_filed / N_pub)은 매우 크게 증가하여, 매우 작은 파일 서랍 규모로도 심각한 편향이 발생함을 시사한다.
• 선택 확률 S₀가 1에 가까운 경우를 제외하고는 평균 발표 Z-통계량(Z̄_pub)은 심각하게 과대평가된다. 즉, 결과에 관계없이 대부분의 연구가 발표되어야 편향을 피할 수 있다.
• 모든 연구—공개된 연구와 미공개 연구를 포함하여—포함되지 않는 한, 문헌 기반 연구의 통계적 조합은 편향이 없음을 신뢰할 수 없다. 이 조건은 실질적으로 거의 이행되지 않는다.
• 분석 결과는 발표 편향이 단 하나의 발표된 연구에도 영향을 미칠 수 있음을 보여주며, 한 논문을 다른 논문보다 발표할지 여부의 결정 자체가 동일한 편향 메커니즘에 영향을 받는다는 점을 시사한다.