[论文解读] Information Divergence is more chi squared distributed than the chi squared statistics

Peter Harremoës, Gábor Tusnády|arXiv (Cornell University)|Feb 6, 2012

Statistical Mechanics and Entropy被引用 8

一句话总结

本文表明，在自由度较低的情况下，信息差异（G²）统计量比传统的皮尔逊卡方统计量更接近卡方分布。通过一种新颖的变换方法，将二项分布和泊松分布映射为近似正态分布，作者证明G²在小样本中对卡方分布的逼近效果更优，并在新的变换框架下证明了泊松分布的交集性质。

ABSTRACT

For testing goodness of fit it is very popular to use either the chi square statistic or G statistics (information divergence). Asymptotically both are chi square distributed so an obvious question is which of the two statistics that has a distribution that is closest to the chi square distribution. Surprisingly, when there is only one degree of freedom it seems like the distribution of information divergence is much better approximated by a chi square distribution than the chi square statistic. For random variables we introduce a new transformation that transform several important distributions into new random variables that are almost Gaussian. For the binomial distributions and the Poisson distributions we formulate a general conjecture about how close their transform are to the Gaussian. The conjecture is proved for Poisson distributions.

研究动机与目标

• 比较在拟合优度检验中，G²（信息差异）统计量与χ²（皮尔逊）统计量在分布上接近理论卡方分布的程度。
• 开发一种新变换，将二项分布和泊松分布更紧密地映射到正态分布，以提高逼近精度。
• 在该变换框架下，制定并证明泊松分布随机变量的“交集性质”，表明尾部概率具有更紧的界。
• 挑战传统观点，即χ²统计量在自由度较低时更接近卡方分布，尤其在小样本中。
• 通过证明G²在分布逼近方面优于χ²，为改进置信区间和假设检验提供理论基础。

提出的方法

• 作者引入一种变换G，将离散分布的累积分布函数映射到标准正态分布，目标是使变换后的分布尽可能接近高斯分布。
• 他们将“交集性质”定义为：离散随机变量的累积分布函数在关键分位点与标准正态CDF相交的条件，以确保尾部概率的紧界。
• 对于泊松分布，他们通过验证对所有m有P(M < m) ≤ P(Z ≤ G(m)) 且 P(M ≤ m) ≥ P(Z ≤ G(m))，证明了交集性质成立。
• 该证明依赖于分析函数tG′(t)，并证明其为递增函数，从而表明比值φ(w)/f(w)是递增的，这是建立交集性质的关键步骤。
• 他们使用渐近逼近和数值验证来支持一个猜想：该交集性质在二项分布和泊松分布中成立，且可能适用于独立伯努利试验之和。
• 该方法包括将G²和χ²统计量的Q-Q图与理论卡方分布进行比较，结果表明G²在低显著性水平下偏离卡方分布的程度小于χ²。

实验结果

研究问题

• RQ1 在有限样本中，信息差异（G²）统计量是否比皮尔逊χ²统计量更接近卡方分布？
• RQ2 能否构造一种变换，使二项分布和泊松分布更接近标准正态分布，从而改善其对卡方分布的逼近？
• RQ3 对于泊松分布随机变量，其离散分布的CDF与标准正态CDF在关键点相交的“交集性质”是否成立？
• RQ4 在零假设接近备择假设的有限样本设置中，G²与χ²的渐近效率如何比较？
• RQ5 该交集性质能否推广到超过两个区间的分布，或独立伯努利试验之和？

主要发现

• Q-Q图证实，G²统计量在自由度较低和样本量较小时，显著比χ²统计量更接近卡方分布。
• 对于n=51的对称二项分布，G²的Q-Q图显示与卡方分布近乎完美对齐，每个步长在中点附近与身份线相交。
• 相比之下，χ²统计量在低显著性水平下表现出系统性偏离，表明逼近效果较差。
• 作者证明了任意泊松分布随机变量均满足交集性质，提供了比以往结果更紧的尾部概率界。
• 变换G确保了变换后变量密度与标准正态密度之比为单调，这是逼近效果改进的理论基础。
• 尽管尚未在一般情况下证明，但大量数值证据支持该变换的递增性质在二项分布和泊松分布中成立的猜想。