[논문 리뷰] Goodness of fit statistics for sparse contingency tables

Audrey Finkler|arXiv (Cornell University)|2010. 06. 11.

Sensory Analysis and Statistical Methods참고 문헌 9인용 수 4

한 줄 요약

이 논문은 영향력 있는 카이제곱( Q )과 쿨백의 G 통계량을 희박한 연동표에서 0 빈도를 가진 셀이 있는 경우에 대해 수정한 버전을 제안한다. 수정된 통계량은 작은 셀 빈도의 과소평가를 보정하여 점근적 카이제곱 분포를 유지하면서도 희박한 데이터에서 제1종 및 제2종 오류 통제를 향상시킨다. 몽테카를로 시뮬레이션을 통해 검증되었고, 생태학적 및 역학적 데이터에 적용되었다.

ABSTRACT

Statistical data is often analyzed as a contingency table, sometimes with empty cells called zeros. Such sparse tables can be due to scarse observations classified in numerous categories, as for example in genetic association studies. Thus, classical independence tests involving Pearson's chi-square statistic Q or Kullback's minimum discrimination information statistic G cannot be applied because some of the expected frequencies are too small. More generally, we consider goodness of fit tests with composite hypotheses for sparse multinomial vectors and suggest simple corrections for Q and G that improve and generalize known procedures such as Ku's. We show that the corrected statistics share the same asymptotic distribution as the initial statistics. We produce Monte Carlo estimations for the type I and type II errors on a toy example. Finally, we apply the corrected statistics to independence tests on epidemiologic and ecological data.

연구 동기 및 목표

• 기존의 카이제곱 및 G 통계량이 0 빈도를 가진 희박한 연동표에서 가지는 한계를 해결한다.
• 기대 빈도가 0.5 이하인 희박한 다항분포 데이터에서 제1종 및 제2종 오류 비율을 향상시킨다.
• Ku의 G 및 Q 통계량에 대한 수정 방법을 일반화하고 개선한다.
• 수정된 통계량이 귀무가설 하에서 원래 통계량과 동일한 점근적 카이제곱 분포를 유지하도록 보장한다.
• 고차원적 희박한 연동표에서 피어슨의 정확한 검정이나 셀 병합과 같은 기존 방법에 비해 실용적이고 강건한 대안을 제공한다.

제안 방법

• 연동표 내의 0 빈도 셀 수 $ c $ 를 고려하여 수정된 통계량 $ Q^{ab} $ 및 $ G^{ab} $ 를 제안한다.
• 최대우도추정량 $ p^* $ 를 수정하여 0 빈도 셀의 빈도를 비영인 셀들에 가능도 기반 할당 방식으로 재분배한다.
• 0 빈도 셀 빈도의 제약 조건 하에서 가능도를 최대화하는 데 필요한 가능도 부등식을 사용한다.
• 귀무가설 $ H_0: p = p^0(\theta) $ 하에서 복합적 적합도 검정을 위해 수정된 통계량 $ Q^{ab} $ 및 $ G^{abames} $ 를 적용한다.
• Birch의 정규성 조건을 확장하여 $ H_0 $ 하에서 수렴성 분포를 증명함으로써 점근적 $ \chi^2_{R-s-1} $ 분포를 유지한다.
• 제1종 및 제2종 오류 비율을 평가하기 위해 $ R=18 $, $ c=7 $, $ s=17 $ 인 간단한 예제에서 몽테카를로 시뮬레이션을 통해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 피어슨의 카이제곱 통계량과 쿨백의 G 통계량은 어떻게 수정되어야 하며, 0 빈도 셀이 있는 희박한 연동표에서 유효성을 유지할 수 있는가?
• RQ2 수정된 통계량 $ Q^{ab} $ 및 $ G^{ab} $ 는 원래 통계량과 동일한 점근적 카이제곱 분포를 유지하는가?
• RQ3 제안된 수정이 희박한 다항분포 데이터에서 제1종 및 제2종 오류 비율에 어떤 영향을 미치는가?
• RQ4 수정된 통계량은 실제 생태학적 및 역학적 데이터에서 기존 방법(예: 피어슨의 정확한 검정 또는 셀 병합)과 비교해 어떻게 성능을 발휘하는가?
• RQ5 기존 검정이 실패하는 고차원적 희박한 연동표에서 수정된 통계량은 연관성을 신뢰성 있게 탐지할 수 있는가?

주요 결과

• 수정된 통계량 $ Q^{ab} $ 및 $ G^{ab} $ 는 귀무가설 하에서 원래의 $ Q $ 및 $ G $ 와 동일한 점근적 $ \chi^2_{R-s-1} $ 분포를 유지한다.
• 3×6 표($ R=18 $, $ c=7 $, $ s=17 $)에서 수행한 몽테카를로 시뮬레이션 결과 오류 통제가 향상되었으며, $ Q^{ab}=20.68 $ 및 $ G^{ab}=26.05 $ 는 $ \chi^2_{0.95,10}=18.31 $ 기준선을 초과하였다.
• 생태학적 데이터 예제에서 $ G^{ab} $ 와 $ Q^{ab} $ 는 귀무가설을 기각하였으며, 영양단계와 식생 조성 간의 유의미한 연관성이 있음을 시사하였다.
• 수정된 통계량은 희귀종이 올리고트로픽 강을 선호하고 오염내성 종이 유태로픽 환경에서 지배적임을 탐지하여 생태학적 패턴을 확인하였다.
• 이 방법은 기대 빈도가 0.5 이하인 표본에서도 효과적으로 작동하며, 셀 병합이나 계산이 복잡한 피어슨의 정확한 검정이 필요 없도록 한다.
• 이론적 증명을 통해 표본 크기가 증가함에 따라 0 빈도 셀 수 $ C_n $ 이 거의 확실히 0으로 수렴함을 확인하여 수정의 점근적 타당성을 뒷받침한다.