[论文解读] Goodness of fit statistics for sparse contingency tables

Audrey Finkler|arXiv (Cornell University)|Jun 11, 2010

Sensory Analysis and Statistical Methods参考文献 9被引用 4

一句话总结

本文提出了皮尔逊卡方（Q）和科拉普克信息量（G）统计量在稀疏列联表中存在零单元时的校正版本，用于拟合优度检验。校正方法可缓解小单元概率的低估问题，在保持渐近卡方分布的同时，提升了稀疏数据下第一类与第二类错误的控制能力，经蒙特卡洛模拟验证，并应用于生态学与流行病学数据。

ABSTRACT

Statistical data is often analyzed as a contingency table, sometimes with empty cells called zeros. Such sparse tables can be due to scarse observations classified in numerous categories, as for example in genetic association studies. Thus, classical independence tests involving Pearson's chi-square statistic Q or Kullback's minimum discrimination information statistic G cannot be applied because some of the expected frequencies are too small. More generally, we consider goodness of fit tests with composite hypotheses for sparse multinomial vectors and suggest simple corrections for Q and G that improve and generalize known procedures such as Ku's. We show that the corrected statistics share the same asymptotic distribution as the initial statistics. We produce Monte Carlo estimations for the type I and type II errors on a toy example. Finally, we apply the corrected statistics to independence tests on epidemiologic and ecological data.

研究动机与目标

• 解决经典卡方与G统计量在含零单元的稀疏列联表中应用时的局限性。
• 改善期望频数低于0.5的稀疏多项分布数据中第一类与第二类错误率。
• 推广并改进库对G与Q统计量在稀疏表中校正方法的现有成果。
• 确保校正后的统计量在原假设下仍保持与原始统计量相同的渐近卡方分布。
• 为高维稀疏列联表提供一种实用且稳健的替代Fisher精确检验或单元合并的方法。

提出的方法

• 提出校正统计量 $ Q^{ab} $ 与 $ G^{ab} $，以调整列联表中零单元数 $ c $ 的影响。
• 通过基于似然的分配方案，将零单元频数重新分配至非零单元，从而修正最大似然估计量 $ p^* $。
• 利用似然不等式，确保校正后的估计量在零单元频数约束下最大化似然函数。
• 将校正后的统计量 $ Q^{ab} $ 与 $ G^{ab} $ 应用于复合拟合优度检验，原假设 $ H_0: p = p^0(\theta) $。
• 通过证明在原假设下分布收敛，保持渐近 $ \chi^2_{R-s-1} $ 分布，扩展比奇（Birch）正则性条件。
• 通过在 $ R=18 $、$ c=7 $、$ s=17 $ 的小样本示例上进行蒙特卡洛模拟，验证方法有效性，评估第一类与第二类错误率。

实验结果

研究问题

• RQ1 如何对皮尔逊卡方与科拉普克信息量G统计量进行校正，以确保其在含零单元的稀疏列联表中仍具有效性？
• RQ2 校正后的统计量 $ Q^{ab} $ 与 $ G^{ab} $ 是否保持与原始统计量相同的渐近卡方分布？
• RQ3 所提出的校正方法对稀疏多项分布数据中第一类与第二类错误率有何影响？
• RQ4 与Fisher精确检验或单元合并等现有方法相比，校正后的统计量在真实生态学与流行病学数据中的表现如何？
• RQ5 校正后的统计量是否能在经典检验失效的高维稀疏列联表中可靠检测到关联性？

主要发现

• 校正后的统计量 $ Q^{ab} $ 与 $ G^{ab} $ 在原假设下保持与原始 $ Q $ 和 $ G $ 相同的渐近 $ \chi^2_{R-s-1} $ 分布。
• 在 $ 3 \times 6 $ 表（$ R=18 $，$ c=7 $，$ s=17 $）上的蒙特卡洛模拟显示，错误控制得到改善，其中 $ Q^{ab}=20.68 $ 与 $ G^{ab}=26.05 $ 均超过 $ \chi^2_{0.95,10}=18.31 $ 的临界值。
• 在生态学数据示例中，$ G^{ab} $ 与 $ Q^{ab} $ 均拒绝原假设，表明营养级与植被组成之间存在显著关联。
• 校正统计量识别出稀有物种偏好寡营养河流，而耐污物种则在富营养环境中占主导，与生态学规律一致。
• 该方法能有效处理期望频数低于0.5的列联表，避免了单元合并或计算量庞大的Fisher精确检验。
• 理论证明表明，随着样本量增加，零单元数 $ C_n $ 几乎必然收敛于0，支持校正方法的渐近有效性。