[论文解读] Graph-Based Tests for Two-Sample Comparisons of Categorical Data

Hao Chen, Nancy R. Zhang|arXiv (Cornell University)|Aug 28, 2012

Bayesian Modeling and Causal Inference参考文献 12被引用 4

一句话总结

本文提出了一种基于图的非参数方法，用于在高维稀疏列联表中对分类数据进行两样本比较。通过利用类别相似性（基于最小生成树MST和最小距离配对MDP），该方法处理了分类数据中常见的距离相等问题，实现了高统计功效和快速计算，且其置换零分布渐近正态，p值近似准确。

ABSTRACT

We study the problem of two-sample comparison with categorical data when the contingency table is sparsely populated. In modern applications, the number of categories is often comparable to the sample size, causing existing methods to have low power. When the number of categories is large, there is often underlying structure on the sample space that can be exploited. We propose a general non-parametric approach that utilizes similarity information on the space of all categories in two sample tests. Our approach extends the graph-based tests of Friedman and Rafsky (1979) and Rosenbaum (2005), which are tests base on graphs connecting observations by similarity. Both tests require uniqueness of the underlying graph and cannot be directly applied on categorical data. We explored different ways to extend graph-based tests to the categorical setting and found two types of statistics that are both powerful and fast to compute. We showed that their permutation null distributions are asymptotically normal and that their $p$-value approximations under typical settings are quite accurate, facilitating the application of the new approach. The approach is illustrated through several examples.

研究动机与目标

• 解决在稀疏性和高维性条件下，使用经典卡方检验和确切检验进行两样本分类数据检验时统计功效低下的问题。
• 利用类别间潜在的相似性结构（如排名、单倍型或词频）——传统方法因列联表稀疏而失效。
• 通过解决因距离相等导致图不唯一的问题，将基于图的检验方法（Friedman & Rafsky, Rosenbaum）扩展至分类数据。
• 开发计算高效的统计量，其零分布渐近正态，且p值近似准确，适用于实际应用。

提出的方法

• 提出两种检验统计量：一种基于所有可能的MST（aMST），另一种基于所有MST的并集（uMST），两者均使用类别级相似性定义边。
• 使用滑动变换算法（Eppstein, 1995）高效枚举类别空间中的所有MST，实现aMST统计量的精确计算。
• 在类别上应用最小距离配对（MDP）以定义第二种检验统计量（R_x），并在对称性假设下推导其零分布的组合表达式。
• 通过完美匹配的组合数学方法，推导MDP统计量R_x的精确零分布，考虑了组大小为奇数或偶数的情况。
• 采用伪类别技巧处理奇数总样本量：添加一个距离为零的虚拟样本，随后丢弃其关联边。
• 在O(K² + M)时间内计算两种检验统计量，其中M为生成树数量，使该方法在K较大时仍具可扩展性。

实验结果

研究问题

• RQ1 能否有效将基于图的两样本检验扩展至存在距离相等和稀疏列联表的分类数据？
• RQ2 如何利用类别间的相似性信息，以提升高维分类数据检验中的统计功效？
• RQ3 当因距离相等导致存在多个MST或MDP时，基于图的检验统计量的精确零分布是什么？
• RQ4 这些统计量的p值近似是否足够准确，从而在实际中避免完全的置换检验？
• RQ5 计算复杂度如何随类别数量增长？能否为实际应用开发出高效算法？

主要发现

• 所提出的aMST和uMST统计量均具有高功效且计算高效，时间复杂度为O(K² + M)，其中M为生成树数量。
• 两种检验统计量的置换零分布渐近正态，使得无需完整置换重采样即可实现准确的p值近似。
• 基于MDP的统计量R_x的精确零分布通过组合方法推导得出，给出了具有i个跨组边的配对数的闭式表达式。
• 在典型设置下，两种检验统计量的p值近似均足够准确，显著降低了对计算密集型置换检验的依赖。
• 该方法通过使用MST的并集（uMST）和所有可能MST（aMST）有效处理了分类数据中的距离相等问题，克服了先前基于图检验的关键局限。
• 该方法在真实世界问题中得到验证，如偏好排名、单倍型关联分析和文档比较，传统方法因稀疏性而失效。