[논문 리뷰] Publication Bias in Meta-Analysis: Confidence Intervals for Rosenthal's Fail-Safe Number

Konstantinos C. Fragkos, Michail Tsagris외 1명|Munich Personal RePEc Archive (Ludwig Maximilian University of Munich)|2015. 09. 04.

Forecasting Techniques and Applications인용 수 3

한 줄 요약

이 논문은 메타분석에서 출판 편향을 평가하기 위해 로젠탈의 실패-안정 수에 대한 신뢰구간을 정규 근사와 비모수 부트스트랩 방법을 사용하여 개발한다. 고정된 연구 수와 랜덤한 연구 수의 경우에 대해 각각 다른 분산 추정량을 유도하였으며, 시뮬레이션에서 반정규분포 추정량이 가장 뛰어난 카버리지 확률을 보였다.

ABSTRACT

The purpose of the present paper is to assess the efficacy of confidence intervals for Rosenthal's fail-safe number. Although Rosenthal's estimator is highly used by researchers, its statistical properties are largely unexplored. First of all, we developed statistical theory which allowed us to produce confidence intervals for Rosenthal's fail-safe number.This was produced by discerning whether the number of studies analysed in a meta-analysis is fixed or random. Each case produces different variance estimators. For a given number of studies and a given distribution, we provided five variance estimators. Confidence intervals are examined with a normal approximation and a nonparametric bootstrap. The accuracy of the different confidence interval estimates was then tested by methods of simulation under different distributional assumptions. The half normal distribution variance estimator has the best probability coverage. Finally, we provide a table of lower confidence intervals for Rosenthal's estimator.

연구 동기 및 목표

• 로젠탈의 실패-안정 수의 통계적 성질을 평가하기 위해, 이는 널리 사용되지만 잘 이해되지 않는 수치이다.
• 고정된 연구 수와 랜덤한 연구 수의 가정 하에 실패-안정 수에 대한 신뢰구간을 개발하기 위해.
• 다양한 분산 추정량의 정확성과 카버리지 확률에서의 강건성(로버스트니)을 비교하기 위해.
• 정규 근사법과 부트스트랩 방법이 신뢰할 수 있는 구간을 구성하는 데 어떻게 비교되는지 평가하기 위해.
• 메타분석 연구자들이 실패-안정 수를 사용할 수 있도록 실용적인 하한 신뢰구간 표를 제공하기 위해.

제안 방법

• 고정된 연구 수와 랜덤한 연구 수의 가정 하에 로젠탈의 실패-안정 수에 대한 이론적 분산 추정량을 유도한다.
• 주어진 연구 수와 분포 가정 하에 다섯 가지의 구별되는 분산 추정량을 제안한다.
• 정규 근사법과 비모수 부트스트랩 기법을 사용하여 신뢰구간을 구성한다.
• 다양한 분포 가정 하에 시뮬레이션 연구를 수행하여 구간 정확도를 평가한다.
• 다양한 구간 추정 방법의 성능을 비교하기 위해 확률 카버리지(coverage probability)를 주요 지표로 사용한다.
• 실험적 카버리지 비율을 바탕으로 반정규분포 분산 추정량을 최적의 것으로 선정한다.

실험 결과

연구 질문

• RQ1 다양한 분포 가정 하에서 로젠탈의 실패-안정 수에 대한 신뢰구간은 어떻게 성능을 보이는가?
• RQ2 연구 수를 고정된 것으로 간주하는 것과 랜덤한 것으로 간주하는 것이 분산 추정에 어떤 영향을 미치는가?
• RQ3 어느 분산 추정량이 실패-안정 수에 대해 가장 정확한 신뢰구간 카버리지 성능을 보이는가?
• RQ4 정규 근사법과 부트스트랩 방법은 안정적인 구간을 구성하는 데 어떻게 비교되는가?
• RQ5 유한 표본 설정에서 다양한 구간 추정 기법의 경험적 성능은 어떠한가?

주요 결과

• 반정규분포 분산 추정량이 시뮬레이션 시나리오 전반에서 가장 뛰어난 확률 카버리지 성능을 보였다.
• 반정규분포 추정량 기반의 신뢰구간은 명목상의 카버리지 수준에 가까운 카버리지 성능을 유지하였으며, 다른 추정량보다 뛰어났다.
• 정규 근사법은 수용 가능한 성능를 보였지만, 비정규 분포 조건에서는 부트스트랩보다 덜 신뢰할 수 있었다.
• 부트스트랩 방법은 분포 가정 위반이 있을 경우에도 더 강건한 구간 추정을 제공하였다.
• 본 연구는 실패-안정 수의 표본 분포가 분산 추정량의 선택에 민감하게 영향을 받는다는 점을 확인하였다.
• 메타분석 연구에서 실용적으로 사용할 수 있도록 실패-안정 수의 하한 신뢰구간 표를 제공하였다.