[논문 리뷰] A Generalized Publication Bias Model

Peter H. Schönemann, Jeffrey D. Scargle|arXiv (Cornell University)|2008. 03. 01.

Meta-analysis and systematic reviews참고 문헌 9인용 수 10

한 줄 요약

이 논문은 스카거들의 로젠탈과 루빈의 실패-안정 수치(Fail-safe number, FSN)에 대한 비판을 일반화하여, 분포에 종속되지 않은 확률질량 기반 모델을 도입함으로써 발표 편향 분석을 단순화한다. 이 모델은 비공개 연구와 공개 연구의 비율이 유의수준 α와 단계 크기 β에 의해 결정되며, 분포 가정 없이 다중 간격 선택 함수로의 확장을 가능하게 한다.

ABSTRACT

Scargle (2000) has discussed Rosenthal and Rubin's (1978) fail-safe number” (FSN) method for estimating the number of unpublished studies in meta-analysis. He concluded that this FSN cannot possibly be correct because a central assumption the authors used conflicts with the very definition of publication bias. While this point has been made by others before (Darlington, 1980; Elsahoff, 1978; lyengar & Greenhouse, 1988; Thomas, 1985), Scargle showed, by way of a simple 2-parameter model, how far off Rosenthal and Rubin's estimate can be in practice. However, his results relied on the assumption that the decision variable is normally distributed with zero mean. In this case the ratio of unpublished to published papers is large only in a tiny region of the parameter plane. Building on these results, we now show that (1) replacing densities with probability masses greatly simplifies Scargle's derivations and permits an explicit statement of the relation between the probability a of Type I errors and the step-size β; (2) this result does not require any distribution assumptions; (3) the distinction between 1-sided and 2-sided rejection regions becomes immaterial; (4) this distribution-free approach leads to an immediate generalization to partitions involving more than two intervals, and thus covers more general selection functions.

연구 동기 및 목표

• 발표 편향의 진정한 정의에 비추어 볼 때 로젠탈과 루빈의 실패-안정 수치(Fail-safe number, FSN) 방법의 근본적 결함을 해결하기 위해 그 핵심 가정을 도전한다.
• 스카거의 2파rameter 정규 모델을 확률밀도 대신 확률질량으로 대체하여 단순화한다.
• 발표 편향을 모델링할 때 분포 가정이 필요 없도록 한다.
• 이를 두 개 이상의 간격(예: 다중 유의성 영역)을 포함하는 선택 함수로 일반화한다.

제안 방법

• 연속적 확률밀도를 이산적 확률질량으로 대체하여 검정통계량의 분포를 모델링한다.
• 유의수준 α와 단계 크기 β 간의 관계를 명시적으로 모델링하여 비공개 대 공개 연구 비율을 결정한다.
• 기본 사례로 유의성 있는지 여부를 나누는 이중 간격 분할을 사용한 후, 이를 k개 간격으로 일반화한다.
• 새로운 설정 하에서 일측 검정과 이중측 검정 간의 차이가 더 이상 중요하지 않음을 보여준다.
• 정규성 또는 대칭성을 가정하지 않고 α와 β로부터 직접 발표 편향 비율을 유도한다.
• 다양한 간격에 정의된 임의의 선택 함수에 모델을 적용하여 더 넓은 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 진정한 발표 편향 정의 하에서 실패-안정 수치 방법은 어떻게 실패하는가?
• RQ2 특정 분포를 가정하지 않고도 비공개 연구와 공개 연구 간의 관계를 모델링할 수 있는가?
• RQ3 유의수준 α와 단계 크기 β는 발표 편향의 크기에 어떤 역할을 하는가?
• RQ4 일측 검정과 이중측 검정 간의 차이가 비공개 연구 추정에 영향을 미치는가?
• RQ5 선택 함수에 두 개 이상의 유의성 영역이 포함된 경우 모델을 확장할 수 있는가?

주요 결과

• 비공개 대 공개 연구 비율은 α와 β의 조합에 매우 민감하며, 큰 비율은 매개변수 공간의 좁은 영역에서만 발생한다.
• 밀도를 확률질량으로 대체함으로써 유도 과정이 단순화되고 발표 편향 비율에 대한 명시적 해석적 표현이 가능해진다.
• 이 모델은 분포에 종속되지 않아, 검정통계량의 근본 분포에 대한 가정이 필요 없다.
• 새로운 설정 하에서 일측 검정과 이중측 검정 간의 차이가 더 이상 중요하지 않다.
• 복잡한 유의성 기준을 모델링할 수 있도록 선택 함수가 두 개 이상의 간격을 포함하는 데로 자연스럽게 일반화된다.
• 결과는 스카거의 비판을 확인하며, 현실적인 매개변수 설정 하에서 로젠탈과 루빈의 FSN 방법이 심각하게 오해의 소지가 있음을 보여준다.