[논문 리뷰] The illusion of power: How the statistical significance filter leads to overconfident expectations of replicability

Shravan Vasishth, Andrew Gelman|arXiv (Cornell University)|2017. 02. 02.

Social and Intergroup Psychology인용 수 7

한 줄 요약

논문은 통계적으로 유의미한 결과(p < 0.05)만 발표하는 일반적인 관행이 진정한 통계적 검증력이 낮을 때조차도 높은 재현 가능성이라는 오해를 불러일으킨다는 것을 보여준다. 유의미한 결과들로부터 유도된 검증력 추정치를 사용할 경우 연구자들은 재현 가능성을 과대평가하게 되며, 이는 심리학 및 심리언어학 연구에서 과도한 자신감을 불러일으킨다.

ABSTRACT

We show that publishing results using the statistical significance filter---publishing only when the p-value is less than 0.05---leads to a vicious cycle of overoptimistic expectation of the replicability of results. First, we show through a simple derivation that when true statistical power is relatively low, computing power based on statistically significant results will lead to overestimates of power. Then, we present a case study using 10 experimental comparisons drawn from a recently published meta-analysis in psycholinguistics (J\ager et al., 2017). We show that the statistically significant results yield an illusion of replicability, i.e., an illusion that power is high. This illusion holds even if the researcher doesn't conduct any formal power analysis but just uses statistical significance to informally assess robustness of results.

연구 동기 및 목표

• 통계적으로 유의미한 결과만 발표하는 관행이 재현 가능성에 대한 기대를 어떻게 왜곡하는지 조사하기.
• 진정한 검증력이 낮을 때, 유의미한 결과들로부터 계산된 검증력이 실제 검증력보다 체계적으로 과대평가됨을 입증하기.
• 공식적인 검증력 분석 없이도 p-값에 의존할 경우 발생하는 재현 가능성의 환영을 드러내기.
• 이 과대평가가 심리학 및 심리언어학 분야의 과학적 발견의 신뢰성과 재현 가능성에 어떤 영향을 미치는지 강조하기.

제안 방법

• 낮은 진정한 검증력 조건 하에서 관측된 p-값과 추정된 통계적 검증력 간의 수학적 관계를 유도한다.
• 사례 연구에서 유도된 공식을 사용해 통계적으로 유의미한 결과들로부터 검증력 추정치를 계산한다.
• 심리언어학 분야의 공개된 메타분석(Jäger et al., 2017)에서 10개의 실험적 비교를 사용하여 검증력 추정의 실증적 입력 자료로 활용한다.
• 원래 연구에서의 효과 크기와 표본 크기로부터 유도된 실제 검증력과 유의미한 결과로부터 추정된 검증력을 비교한다.
• 진정한 검증력이 낮을 경우, p < 0.05 결과들로부터 유도된 검증력 추정치가 항상 과대평가됨을 입증한다.
• 공식적인 검증력 분석 없이도 p-값에 기반한 비공식적 추론을 사용하여, 연구자들이 형식적인 검증력 분석 없이도 재현 가능성에 대해 과도한 자신감을 갖게 되는 방식을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 진정한 검증력이 낮을 때, 통계적 유의성 필터가 통계적 검증력 추정치를 어떻게 왜곡하는가?
• RQ2 통계적으로 유의미한 결과들이 심리학 연구에서 얼마나 높은 재현 가능성의 환영을 만들어내는가?
• RQ3 공식적인 검증력 계산 없이도 p < 0.05에 대한 비공식적 의존은, 형식적인 검증력 분석 없이도 재현 가능성에 대한 과도한 자신감을 유도할 수 있는가?
• RQ4 실제 실험 연구에서 유의미한 결과들로부터 유도된 검증력 추정치는 진정한 검증력과 어떻게 비교되는가?
• RQ5 이 과대평가가 심리언어학 및 심리학 분야의 연구 재현 가능성에 어떤 영향을 미치는가?

주요 결과

• 진정한 통계적 검증력이 낮을 경우, 통계적으로 유의미한 결과들로부터 유도된 검증력 추정치는 체계적으로 과대평가되며, 이는 재현 가능성에 대한 잘못된 확신을 초래한다.
• 공식적인 검증력 분석 없이도, p < 0.05에만 의존하는 연구자들은 재현 가능성의 가능성은 과대평가하게 된다.
• 심리언어학 메타분석에서 10개의 비교를 사용한 사례 연구는, 낮은 진정한 검증력에도 불구하고 유의미한 결과들이 과대된 검증력 추정치를 암시함을 보여준다.
• p-값 기준이 비유의미한 결과들을 걸러내기 때문에, 진정한 검증력이 낮다는 사실이 드러나지 않기 때문에 재현 가능성의 환영이 지속된다.
• 진정한 검증력이 50% 이하일 경우, 추정된 검증력과 진정한 검증력 간의 격차가 가장 두드러지며, 이는 재현 가능성에 대한 상당한 과신을 초래한다.
• 이 필터링 메커니즘은 과도한 자신감을 가진 재현 기대가 연구 간에 스스로 강화되는 순환 구조를 만들어낸다.