[논문 리뷰] The statistical significance filter leads to overconfident expectations of replicability

Shravan Vasishth, Andrew Gelman|arXiv (Cornell University)|2017. 02. 02.

Statistical Methods and Inference참고 문헌 17인용 수 6

한 줄 요약

이 논문은 통계적 유의성 필터—p < 0.05를 만족하는 결과만 발표하는 방식—이 저력의 연구에서 효과 크기 과대평가로 인해 복제 가능성에 대한 기대를 체계적으로 과대평가하게 만든다는 것을 보여준다. 분석적 유도와 심리언어학 분야의 사례 연구를 통해, 유의미한 결과에서 유도된 p-값은 과대된 검열력 추정치를 제공하며, 공식적인 검열력 분석 없이도 강건성의 잘못된 인식을 유도한다.

ABSTRACT

We show that publishing results using the statistical significance filter---publishing only when the p-value is less than 0.05---leads to a vicious cycle of overoptimistic expectation of the replicability of results. First, we show analytically that when true statistical power is relatively low, computing power based on statistically significant results will lead to overestimates of power. Then, we present a case study using 10 experimental comparisons drawn from a recently published meta-analysis in psycholinguistics (J\\"ager et al., 2017). We show that the statistically significant results yield an illusion of replicability. This illusion holds even if the researcher doesn't conduct any formal power analysis but just uses statistical significance to informally assess robustness (i.e., replicability) of results.

연구 동기 및 목표

• 통계적 유의성 결과(p < 0.05)만 발표하는 관행이 연구자들이 복제 가능성에 대해 갖는 기대에 어떻게 왜곡을 초래하는지 조사하는 것.
• 진짜 통계적 검열력이 낮을 때, 유의미한 결과로부터 유도된 검열력 추정치가 체계적으로 과대평가됨을 분석적으로 보여주는 것.
• 심리언어학 분야의 사례 연구를 통해, 작은 표본에서 유도된 유의미한 결과가 공식적인 검열력 분석 없이도 복제 가능성의 잘못된 인식을 유도할 수 있음을 보여주는 것.
• 낮은 p-값이 더 높은 복제 가능성과 관련이 있다는 일반적인 가정을 도전하며, 이 가정이 통계적 유의성 필터에 의해 유도된 오해임을 보여주는 것.
• p < 0.05 기반의 통계적 검열력 개념을 폐기하고, 분야 전문 지식에 기반한 효과 크기 범위를 연구 설계에 활용할 것을 제안하는 것.

제안 방법

• 귀무가설 하에서 p-값의 표본 분포를 유도하며, 이들이 균일분포 Uniform(0,1)를 따른다는 것을 보여주는 것.
• 비비율 t-분포를 사용하여 대립가설 하에서 t-통계량의 표본 분포를 모델링함으로써 검열력 추정이 가능하도록 하는 것.
• 관측된 t-통계량에서 유도된 검열력 추정 공식을 적용: G_{zp}(α) = 1 − Φ(z_α − z_p), 여기서 z_p는 관측된 z-값이다.
• 관측된 p-값과 추정된 검열력 간의 관계를 분석하며, 높은 t-통계량이 진짜 검열력이 낮을 때조차도 높은 검열력 추정치를 유도함을 보여주는 것.
• 심리언어학 분야의 메타분석(Jäger et al., 2017)에서 유도된 10개의 실험적 비교 사례를 분석하여 실제 데이터에서 복제 가능성의 잘못된 인식이 어떻게 발생하는지 보여주는 것.
• 시뮬레이션과 분석 모델링을 통해, 유의미한 결과에서 유도된 효과 크기 추정치가 체계적으로 과대평가됨(Type M 오류)함을 보여주는 것. 특히 저력 설계에서 더욱 두드러진다.

실험 결과

연구 질문

• RQ1 통계적 유의성 필터는 저력의 연구에서 복제 가능성에 대한 기대를 어떻게 과도하게 과대평가하게 만드는가?
• RQ2 진짜 검열력이 낮을 때, 유의미한 결과에서 유도된 p-값이 진짜 통계적 검열력을 얼마나 과대평가하는가?
• RQ3 통계적 유의성에만 의존하는 비공식적 접근이 실험 결과에 대해 잘못된 강건성과 복제 가능성의 인식을 유도할 수 있는가?
• RQ4 원래 p-값의 크기와 성공적인 복제 가능성 간의 관계는 어떻게 되며, 이 관계는 잘못된 해석을 유도하는가?
• RQ5 심리학 및 심리언어학 분야와 같은 분야에서 효과 크기 과대평가(Type M 오류)가 연구 설계와 복제에 어떤 영향을 미치는가?

주요 결과

• 진짜 검열력이 낮을 때 통계적 유의성 필터는, 유의미한 결과가 표본 분포의 상단 꼬리에서 추출되기 때문에 효과 크기 추정치를 과대평가함으로써 검열력을 과대평가하게 만든다.
• 유의미한 결과에서 유도된 관측된 t-통계량은 t-값의 단조 증가 함수로서의 검열력 추정치를 제공하며, 이는 진짜 검열력이 낮을 때조차도 높은 복제 가능성의 잘못된 인식을 유도한다.
• 심리언어학 사례 연구에서, p < 0.05를 만족하는 10개의 발표된 비교 결과는 과대된 효과 크기와 과대된 검열력 추정치를 보였으며, 이는 낮은 표본 크기(n = 20–40)에도 불구하고 복제 가능성의 잘못된 인식을 유도했다.
• 오픈 과학 협동조직에서 보고된 원래 p-값과 복제 성공 간의 상관관계는 낮은 p-값이 더 높은 복제 가능성 예측을 가능하게 한다는 증거로 오해되지만, 실제로는 동일한 편향을 반영하고 있다.
• 심리학 및 신경과학 분야의 많은 연구는 낮은 통계적 검열력(예: 신경과학 분야에서 8–31%, 행동 과학 분야 평균 24%)을 보이고 있으나, 연구자들은 유의성 필터의 영향으로 복제 가능성에 대해 과도하게 자신감을 갖는다.
• 공개된 결과에 기반한 공식적인 검열력 분석은 동일한 편향된 유의미한 효과 추정치를 바탕으로 하므로, 진짜 검열력을 체계적으로 과대평가하게 된다.