[논문 리뷰] On Statistical Non-Significance

Alberto Abadie|arXiv (Cornell University)|2018. 03. 01.

Forecasting Techniques and Applications참고 문헌 8인용 수 3

한 줄 요약

이 논문은 통계적 유의성이 비유의성보다 더 높은 과학적 가치를 지닌다는 전통적 관점을 도전하며, 제한된 정보 베이즈 프레임워크를 통해 비유의성 결과가 특히 큰 표본에서 더 많은 정보를 담고 있음을 보여준다. 비유의성 결과는 점근적으로 근원가설이 거의 타당하지 않다는 점에서 유의성 결과보다 더 많은 정보를 제공할 수 있으며, 근원가설을 기각하지 못할 경우 사후 belief가 0 근처에 농축될 수 있음을 주장한다. 반면 기각 결과는 정보가 적을 수 있으며, 비유의성 결과의 보다 높은 가시성과 논의를 촉구한다.

ABSTRACT

Significance tests are probably the most extended form of inference in empirical research, and significance is often interpreted as providing greater informational content than non-significance. In this article we show, however, that rejection of a point null often carries very little information, while failure to reject may be highly informative. This is particularly true in empirical contexts where data sets are large and where there are rarely reasons to put substantial prior probability on a point null. Our results challenge the usual practice of conferring point null rejections a higher level of scientific significance than non-rejections. In consequence, we advocate a visible reporting and discussion of non-significant results in empirical practice.

연구 동기 및 목표

• empirical 연구에서 통계적 유의성이 비유의성보다 더 정보가 많다는 광범위한 가정을 도전하기 위해.
• 제한된 정보 베이즈 프레임워크를 사용하여, 점근적 근원가설을 기각하지 못할 경우 상당한 정보를 전달할 수 있음을 보여주기 위해.
• 근원가설의 정확한 값에 대한 사전 믿음이 미미할 경우, 점근적 근원가설 기각이 종종 최소한의 정보적 가치를 지닌다는 것을 보여주기 위해.
• 출판 편향에 대비하여 비유의성 결과의 보다 높은 가시성과 논의를 촉구하기 위해.
• 추정치의 부호를 고려하고 사후 정보성에 미치는 영향을 포함하여, 유의성 검정의 역할을 재평가하기 위해.

제안 방법

• 연구자들이 전체 데이터가 아닌 보고된 유의성 수준만을 사용하여 믿음을 갱신하는 제한된 정보 베이즈 접근법을 채택한다.
• 파라미터 θ의 사전 분포를 정규분포 N(μ, σ²)로 모델링하고, 추정량 ŷ의 표본 분포를 정규분포 N(θ, 1/n)으로 모델링한다.
• 누적분포함수 Φ를 사용하여, 유의성(|√nŷ| > c)과 비유의성(|√nŷ| ≤ c) 조건 하에 θ의 제한된 정보 사후분포를 유도한다.
• 특히 표본 크기 n → ∞의 한계에서의 정보성 평가를 위해 사후확률 밀도함수 p(θ | data)를 사전확률 p(θ)로 나눈 비율 p(θ | data) / p(θ)를 계산한다.
• 추정계수의 부호(예: √nŷ > c 및 ŷ > 0)를 조건으로 하여 분석을 확장함으로써, 부호 정보가 사후 농축에 어떻게 영향을 주는지 분석한다.
• 점근적 한계를 사용하여, 유의성과 비유의성 조건 하에서 사후분포의 행동을 분석하며, 특히 θ = 0에서의 농축에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 대규모 표본을 가진 일반적인 실험적 설정에서 통계적 유의성이 비유의성보다 더 많은 정보를 제공하는가?
• RQ2 유의성 검정의 정보성은 관심 있는 파라미터의 사전분포에 어떻게 의존하는가?
• RQ3 유의성 외에 추정계수의 부호를 조건으로 하면 어떤 영향을 미치는가?
• RQ4 비유의성 조건 하에서 사후분포는 점근적으로 어떻게 행동하는가? 특히 근원가설 값에서의 농축에 대해 어떻게 되는가?
• RQ5 왜 비유의성 결과는 종종 보고되지 않으며, 과학적 추론과 출판 편향에 어떤 영향을 미치는가?

주요 결과

• 비유의성 결과는 근원가설 값(θ = 0) 근처에 사후확률 질량을 농축시키며 매우 정보가 많을 수 있다. 특히 큰 표본에서는 더욱 그렇다.
• 비유의성일 때 부호가 양수이면, 사후 대 사전 비율은 θ = 0에서 무한대에 수렴하고, 그 외에서는 0에 수렴하여 극도로 정보가 많음을 나타낸다.
• 유의성과 부호가 양수일 경우, 사후분포는 사전분포를 0 이하로 잘라낸 형태로 수렴하며, 사전에 θ > 0에 대한 믿음이 강하지 않다면 정보성이 제한된다.
• 유의성의 최대 정보성은 제한되어 있다. μ ≥ 0 이면 점근적으로라도 사후비율이 사전비율의 두 배를 초과할 수 없다.
• 큰 표본에서는 유의성의 정보량이 파라미터의 부호에 대한 사전 믿음에 의해 결정되며, 사전 믿음이 강할수록 유의성은 새로운 정보를 거의 추가하지 않는다.
• 특히 근원가설의 정확한 값에 대한 사전 확률이 낮을 경우, 근원가설을 기각하지 못하는 것은 기각하는 것보다 더 많은 과학적 무게를 지닌다.