[논문 리뷰] Information Divergence is more chi squared distributed than the chi squared statistics

Peter Harremoës, Gábor Tusnády|arXiv (Cornell University)|2012. 02. 06.

Statistical Mechanics and Entropy인용 수 8

한 줄 요약

이 논문은 정보 발산도(G²) 통계량이 기존 페어슨 카이제곱 통계량보다 자유도가 낮은 경우에 특히 카이제곱 분포에 더 가까이 근사됨을 보여준다. 이는 이항분포와 포아송분포를 정규분포로 변환하는 데 사용된 새로운 변환 기법을 통해 이루어지며, 이로 인해 G²는 소표본에서도 카이제곱 분포에 더 나은 근사성을 보이며, 포아송 분포에 대해 새로운 변환 프레임워크 하에서 교차성질(intersection property)을 증명한다.

ABSTRACT

For testing goodness of fit it is very popular to use either the chi square statistic or G statistics (information divergence). Asymptotically both are chi square distributed so an obvious question is which of the two statistics that has a distribution that is closest to the chi square distribution. Surprisingly, when there is only one degree of freedom it seems like the distribution of information divergence is much better approximated by a chi square distribution than the chi square statistic. For random variables we introduce a new transformation that transform several important distributions into new random variables that are almost Gaussian. For the binomial distributions and the Poisson distributions we formulate a general conjecture about how close their transform are to the Gaussian. The conjecture is proved for Poisson distributions.

연구 동기 및 목표

• 적합도 검정에서 이론적 카이제곱 분포에 대한 G²(정보 발산도) 통계량과 χ²(페어슨) 통계량의 분포 근접도를 비교하는 것.
• 이항분포와 포아송분포를 정규분포에 더 가깝게 만드는 새로운 변환 기법을 개발하여 근사 정확도를 향상시키는 것.
• 이 변환 프레임워크 하에서 포아송 분포를 따르는 랜덤 변수에 대해 '교차성질(intersection property)'를 수립하고 증명하는 것. 이는 꼬리 확률에 대한 더 탴단 경계를 제공한다.
• 특히 자유도가 낮을 경우 χ² 통계량이 카이제곱 분포에 더 잘 근사된다는 기존의 가정을 도전하는 것.
• G²가 분포 근사에서 χ²를 능가함을 보여줌으로써, 개선된 신뢰구간과 가설검정에 대한 이론적 기반을 마련하는 것.

제안 방법

• 저자들은 이산분포의 누적분포함수를 표준정규분포로 매핑하는 변환 G를 도입하여, 변환된 분포가 가능한 한 가우시안에 가까워지도록 한다.
• 그들은 '교차성질'을 정의하며, 이는 이산 랜덤 변수의 누적분포함수가 주요 분위수에서 표준정규분포함수와 교차하는 조건으로, 꼬리 확률에 대한 탄탄한 경계를 보장한다.
• 포아송 분포에 대해, 모든 m에 대해 P(M < m) ≤ P(Z ≤ G(m)) 및 P(M ≤ m) ≥ P(Z ≤ G(m)) 를 만족함을 확인함으로써 교차성질이 성립함을 증명한다.
• 이 증명은 함수 tG′(t)가 증가함을 분석하고, 이는 비율 φ(w)/f(w)가 증가함을 의미하며, 교차성질을 확립하는 데 핵심적인 단계이다.
• 점근적 근사와 수치적 검증을 통해 이 변환에 대해 교차성질이 이항분포와 포아송분포에 대해 성립할 것이라는 추측을 지지하며, 독립 베르누이 시험의 합에 대해서도 일반화 가능할 것으로 보인다.
• 메서드는 G² 및 χ² 통계량을 이론적 카이제곱 분포와 비교한 Q-Q 플롯을 활용하며, 이는 G²가 특히 낮은 유의수준에서 카이제곱 분포에서 χ²보다 덜 벗어남을 보여준다.

실험 결과

연구 질문

• RQ1 유한 표본에서 정보 발산도(G²) 통계량이 페어슨 χ² 통계량보다 카이제곱 분포에 더 가까이 근사되는가?
• RQ2 이항분포와 포아송분포를 표준정규분포에 더 가깝게 만드는 변환을 구성할 수 있는가? 이는 분포 근사 정확도 향상에 기여한다.
• RQ3 이산분포의 누적분포함수가 주요 지점에서 표준정규분포함수와 교차하는 '교차성질'이 포아송 분포를 따르는 랜덤 변수에 대해 성립하는가?
• RQ4 특히 근사가 대립가설에 가까운 경우, G²의 점근적 효율성은 χ²보다 어떻게 다른가?
• RQ5 교차성질은 두 개 이하의 분할을 넘어서거나 독립 베르누이 시험의 합에 대해서도 일반화될 수 있는가?

주요 결과

• G² 통계량이 χ² 통계량보다 카이제곱 분포에 훨씬 더 가까이 근사됨이 확인되었으며, 특히 자유도가 낮고 표본 크기가 작은 경우 뚜렷하다. Q-Q 플롯을 통해 이를 검증하였다.
• n=51인 대칭 이항분포의 경우, G²의 Q-Q 플롯은 카이제곱 분포와 거의 완벽하게 일치하며, 각 단계가 항등선의 중앙 근처에서 교차한다.
• 반면 χ² 통계량은 낮은 유의수준에서 카이제곱 분포에서 체계적인 편차를 보이며, 근사 정확도가 열 劣하다.
• 저자들은 임의의 포아송 분포를 따르는 랜덤 변수에 대해 교차성질이 성립함을 증명하였으며, 이는 이전 결과보다 더 탄탄한 꼬리 확률 경계를 제공한다.
• 변환 G는 변환된 변수의 밀도와 표준정규밀도의 비율이 단조증가함을 보장하여, 개선된 근사 정확도를 기반으로 한다.
• 이항분포와 포아송분포에 대해 증가성질이 성립한다는 추측은 광범위한 수치적 증거로 지지되지만, 일반적으로 증명되지 않은 상태이다.