[논문 리뷰] A brief history of the Fail Safe Number in Applied Research

Moritz Heene|arXiv (Cornell University)|2010. 10. 12.

Paranormal Experiences and Beliefs참고 문헌 5인용 수 6

한 줄 요약

이 논문은 메타분석에서 유의미한 효과 크기를 무효화하는 데 필요한 비공개 연구 수를 추정하는 데 사용되는 로젠탈의 실패-안정수(Fail-Safe Number, FSN)의 역사적 발전과 비판적 수용을 추적한다. 초기 반박—특히 엘라쇼프(1978)의 비판—을 다루며, FSN의 무편향 평균화 가정에 대한 도전을 제기하여, 이후 공식적인 비판 이전에도 그 논리적 근본적인 결함이 이미 드러났음을 보여주며, 이러한 반박이 메타분석 실무나 매뉴얼에 영향을 미쳤는지 여부를 제기한다.

ABSTRACT

Rosenthal's (1979) Fail-Safe-Number (FSN) is probably one of the best known statistics in the context of meta-analysis aimed to estimate the number of unpublished studies in meta-analyses required to bring the meta-analytic mean effect size down to a statistically insignificant level. Already before Scargle's (2000) and Schonemann & Scargle's (2008) fundamental critique on the claimed stability of the basic rationale of the FSN approach, objections focusing on the basic assumption of the FSN which treats the number of studies as unbiased with averaging null were expressed throughout the history of the FSN by different authors (Elashoff, 1978; Iyengar & Greenhouse, 1988a; 1988b; see also Scargle, 2000). In particular, Elashoff's objection appears to be important because it was the very first critique pointing directly to the central problem of the FSN: "R & R claim that the number of studies hidden in the drawers would have to be 65,000 to achieve a mean effect size of zero when combined with the 345 studies reviewed here. But surely, if we allowed the hidden studies to be negative, on the average no more than 345 hidden studies would be necessary to obtain a zero mean effect size" (p. 392). Thus, users of meta-analysis could have been aware right from the beginning that something was wrong with the statistical reasoning of the FSN. In particular, from an applied research perspective, it is therefore of interest whether any of the fundamental objections on the FSN are reflected in standard handbooks on meta-analysis as well as -and of course even more importantly- in meta-analytic studies itself.

연구 동기 및 목표

• 응용 메타분석 연구에서 실패-안정수(Fail-Safe Number, FSN)의 역사적 발전을 검토하는 것.
• FSN의 핵심 통계적 가정에 도전하는 초기 비판을 특정하고 분석하는 것.
• FSN에 대한 근본적인 반박이 표준 메타분석 매뉴얼이나 실제 메타분석 연구에 반영되었는지 평가하는 것.
• FSN의 개념적 불안정성을 명확히 하는 것—다른 한편으로는 적용 연구에서 널리 사용되고 있음에도 불구하고.

제안 방법

• 로젠탈(1979)의 FSN 도입 이후 주요 비판까지의 FSN에 관한 학술 문헌에 대한 체계적 검토.
• 엘라쇼프(1978), 이엔가르 및 그린하우즈(1988a, 1988b), 스카글(2000)의 분석을 통해 FSN의 가정에 대한 기초적인 반박을 도출.
• 특히 비공개 연구가 0을 중심으로 균일하게 분포한다고 가정하는 FSN의 방법론적 논거 평가.
• FSN의 이론적 기반과 메타분석 매뉴얼 및 연구에서의 실질적 적용 간 비교.
• 역사적 서사 기법을 통해 초기 경고에도 불구하고 메타분석에서 오류가 반복되는 논리적 오류의 지속성을 추적.
• 유의미한 효과를 상쇄할 수 있는 것은 오직 양의 비공개 연구뿐이라는 가정의 논리적 모순에 집중.

실험 결과

연구 질문

• RQ1 왜 FSN의 통계적 가정에 대한 초기 비판에도 불구하고 실패-안정수가 널리 사용되고 있는가?
• RQ2 2000년대 이전에 확인된 FSN의 핵심 개념적 결함는 무엇인가?
• RQ3 엘라쇼프(1978)의 비판은 FSN의 핵심 가정—즉, 영향 없는 효과의 평균화—의 타당성을 어떻게 도전했는가?
• RQ4 메타분석 방법론 매뉴얼에서 FSN에 대한 초기 반박을 어느 정도 인정하거나 통합했는가?
• RQ5 왜 FSN은 논리적 모순이 있음에도 불구하고 응용 메타분석에서 표준 지표로 유지되었는가?

주요 결과

• 엘라쇼프(1978)는 FSN의 가정을 처음으로 직접 도전하며, 음성 연구를 허용할 경우 평균 효과 크기를 0으로 줄이기 위해 비공개 연구가 65,000개가 아니라 345개면 충분하다고 지적했다.
• FSN의 핵심 가정—비공개 연구가 0을 중심으로 균일하게 분포하고, 효과를 상쇄시킬 수 있는 것은 오직 양의 연구뿐이라는 주장—는 논리적으로 오류이며 기본적인 통계 원칙과 모순된다.
• 엘라쇼프의 초기 비판에도 불구하고 FSN은 방법론적 수정 없이 메타분석 실무에서 계속 사용되었다.
• 스카글(2000)과 쇤니에망 및 스카글(2008)의 후속 비판은 FSN의 논거가 불안정하다는 점을 확인했지만, 그 기초적인 결함는 이미 20년 이상 전에 확인된 바가 있었다.
• FSN이 적용 연구에서 지속적으로 사용되고 있다는 점은 이론적 비판과 메타분석 문헌에서의 실무 수용 사이에 괴리가 있음을 시사한다.
• 이 논문은 FSN의 계속된 사용이 초기의 실질적인 비판을 표준 메타분석 실무나 교육 자료에 통합하지 못한 실패를 반영한다고 결론 내린다.