[논문 리뷰] Chi-square and classical exact tests often wildly misreport significance; the remedy lies in computers

William Perkins, Mark Tygert외 1명|arXiv (Cornell University)|2011. 08. 20.

Advanced Statistical Methods and Models참고 문헌 11인용 수 10

한 줄 요약

이 논문은 모형 확률이 0에 가까울 때 고전적卡-제곱검정과 정확검정이 거의 0으로 나누는 문제로 인해 종종 극도로 정확하지 않은 p-값을 산출함을 보여준다. 이를 해결하기 위해 컴퓨터 최적화된 평균제곱근 및 로그우도비율 통계량으로 이러한 검정을 대체할 것을 제안하며, 이는 현대 계산 자원을 고려할 때 더 강력하고 신뢰할 수 있는 결과를 제공한다.

ABSTRACT

If a discrete probability distribution in a model being tested for goodness-of-fit is not close to uniform, then forming the Pearson chi-square statistic can involve division by nearly zero. This often leads to serious trouble in practice -- even in the absence of round-off errors -- as the present article illustrates via numerous examples. Fortunately, with the now widespread availability of computers, avoiding all the trouble is simple and easy: without the problematic division by nearly zero, the actual values taken by goodness-of-fit statistics are not humanly interpretable, but black-box computer programs can rapidly calculate their precise significance.

연구 동기 및 목표

• 모형 확률이 매우 작을 때 고전적 카-제곱검정과 정확검정의 근본적인 결함을 드러내어 거의 0으로 나누는 문제를 유발함을 밝힘.
• 이 결함이 수치 반올림 오차가 없더라도 통계적 검정력에 심각한 영향을 미친다는 것을 입증함.
• 기존 카-제곱검정을 평균제곱근 및 G² 통계량과 같은 계산적으로 실현 가능한 대체 통계량으로 대체할 것을 주장함.
• 현대 컴퓨터 자원을 활용해 이러한 개선된 통계량의 정확한 유의수준을 정밀하게 계산할 수 있음을 보여줌.
• 이산 적합도 검정에서 확률이 작을 경우 평균제곱근 및 G² 통계량이 카-제곱보다 수렴 속도가 빠르고 더 강력하다는 것을 입증함.

제안 방법

• 이상치가 없는 이산 구간에 대해 경험적 분포와 모형 분포 간의 차이를 측정하기 위해 평균제곱근(RMS) 통계량을 사용함.
• 로그우도비율 통계량(G²)을 보완적 대안으로 적용하여 로그 변환을 통해 거의 0으로 나누는 문제를 완화함.
• 모형이 매개변수화되어 있을 경우 최대우도추정법(MLE)을 사용해 모형 매개변수를 추정함.
• 각 검정 통계량의 정확한 유의수준을 추정하기 위해 몬테카를로 시뮬레이션(사례당 800,000회)을 사용함.
• 다양한 이산 분포(지프, 기하분포, 포아송, 하디-바이너그 등)에서 RMS, χ², G², 프리먼-트케이 통계량의 수렴 속도를 비교함.
• 귀무가설 하에서 渐近적으로 균일한 분포를 이루는 신뢰수준을 확보하기 위해, 매개변수 추정과 유사한 파라미터 기반 부트스트랩 절차를 사용함.

실험 결과

연구 질문

• RQ1 고전적 카-제곱통계량에서 거의 0으로 나누는 문제가 적합도 검정의 정확성과 검정력에 어떤 영향을 미치는가?
• RQ2 대표적인 표본 크기의 점근적 조건 하에서 평균제곱근, χ², G², 프리먼-트케이 통계량의 수렴 속도는 어떻게 비교되는가?
• RQ3 컴퓨터 최적화된 유의수준을 갖는 RMS 및 G² 통계량이 고전적 카-제곱검정보다 통계적 검정력과 정확성 측면에서 뛰어나게 작용할 수 있는가?
• RQ4 진짜 분포가 모형 가족에 포함될 때 MLE로 추정한 모형에서 유도된 신뢰수준의 행동은 어떠한가?
• RQ5 특히 꼬리가 두꺼운 또는 매우 비대칭적인 확률을 갖는 분포에서 다양한 검정 통계량은 어떻게 성능을 보이는가?

주요 결과

• 고전적 카-제곱통계량은 모형 확률이 0에 가까울 경우 거의 0으로 나누는 문제로 인해 수치 오차가 없더라도 심각한 검정력 손실을 겪는다.
• 모든 테스트된 분포에서 RMS 통계량이 χ², G², 프리먼-트케이 통계량보다 더 빠르게 점근적 유의수준에 수렴함.
• 100개의 구간과 θ = 5/2를 가진 지프분포의 경우, 표본 크기가 증가함에 따라 RMS 통계량이 진짜 유의수준으로 가장 빨리 수렴함.
• 20개의 구간과 두 개의 매개변수를 가진 모형에서 RMS와 χ² 통계량이 G² 및 프리먼-트케이보다 더 빠르게 수렴하였으며, RMS가 가장 효율적임.
• MLE와 시뮬레이션을 사용한 제안된 방법으로 계산된 신뢰수준은 귀무가설 하에서 (0,1) 구간에서 균일 분포로 수렴함을 보여, 타당한 추론이 가능함.
• 확률이 범주 간에 크게 다를 때나 희소한 구간을 포함하는 이산 모형에서는 평균제곱근 및 G² 통계량이 카-제곱보다 더 강인하고 강력함.