[论文解读] Graph-Based Two-Sample Tests for Data with Repeated Observations

Jingru Zhang, Hao Chen|arXiv (Cornell University)|Nov 12, 2017

Complex Network Analysis Techniques参考文献 15被引用 4

一句话总结

该论文针对具有重复观测数据的扩展图基两样本检验方法提出改进，其中传统相似性图（如MST、MDP）因存在 tied 值而产生歧义。论文引入了新的检验统计量——广义型、加权型及最大型统计量，配备解析 p 值近似方法，以确保稳健性与可扩展性。主要贡献在于提出了一套一致且计算高效的框架，在图结构非唯一时仍能保持高检验效能，已在电话通话网络数据集上得到验证，p 值在重复观测下表现出显著稳定性。

ABSTRACT

In the regime of two-sample comparison, tests based on a graph constructed on observations by utilizing similarity information among them is gaining attention due to their flexibility and good performances for high-dimensional/non-Euclidean data. However, when there are repeated observations, these graph-based tests could be problematic as they are versatile to the choice of the similarity graph. We propose extended graph-based test statistics to resolve this problem. The analytic p-value approximations to these extended graph-based tests are derived to facilitate the application of these tests to large datasets. The new tests are illustrated in the analysis of a phone-call network dataset. All tests are implemented in an R package gTests.

研究动机与目标

• 解决因重复观测导致相似性图非唯一时图基两样本检验的不稳定性问题。
• 开发在图构建存在歧义时仍保持一致性和检验效能的扩展检验统计量。
• 为大规模数据应用推导扩展边计数检验统计量的解析 p 值近似，避免计算成本高昂的重抽样方法。
• 确保在具有 tied 距离或重复观测的真实数据集（如网络或高维数据）中具备稳健性与可靠性。
• 提供一个统一、开箱即用的检验框架，与现有 R 包 gTests 兼容。

提出的方法

• 通过基于组内与组间边数定义的新统计量，将广义边计数检验与加权边计数检验扩展至处理非唯一相似性图。
• 引入一种最大型检验统计量，整合广义与加权边计数，以在多种备择假设下提升检验效能。
• 推导扩展检验统计量的渐近分布，实现无需重抽样的快速 p 值计算。
• 在加权边计数检验中引入方差稳定权重，以最小化方差并增强对位置变化的敏感性。
• 采用多个可能图结构的并集与平均策略，聚合结果以提升稳健性。
• 将解析 p 值与基于重抽样的估计值进行对比验证，结果显示在模拟与真实数据中高度一致。

实验结果

研究问题

• RQ1 当因重复观测导致相似性图非唯一时，如何使图基两样本检验更具稳健性？
• RQ2 能否为扩展边计数检验统计量推导出解析 p 值近似，以支持大规模应用？
• RQ3 当底层图存在歧义时，新检验统计量在检验效能与第一类错误控制方面表现如何？
• RQ4 图的非唯一性对具有 tied 距离的真实数据集中 p 值稳定性的实际影响是什么？
• RQ5 在具有重复观测的高维或网络数据中，扩展检验方法与现有方法相比在检测分布差异方面表现如何？

主要发现

• 广义与加权边计数检验在非唯一图下变得不稳定，不同有效图之间的 p 值差异显著——例如在电话通话网络数据中，p 值在 0.004 到 0.142 之间波动。
• 所提出的扩展检验统计量（包括最大型及并集/平均策略）在不同图实现下均产生一致的 p 值，有效解决了不稳定性问题。
• 基于渐近分布推导的解析 p 值与重抽样估计值高度吻合（例如 S(a) 的 p 值为 0.040 vs. 0.042），验证了其在样本量为数百时的准确性。
• 扩展加权边计数检验（Rw(a)）的 p 值为 0.007，在 α=0.05 水平下拒绝原假设，而原始边计数检验因方差放大而失败（p=0.040）。
• 最大型检验 M(a)(κ) 在 κ=1.31 时的 p 值为 0.009，与加权检验结果高度一致，表明其在检测位置变化方面具有强一致性。
• 即使相似性图未被唯一定义，扩展检验仍能保持高检验效能与稳定性，适用于具有重复观测的真实世界数据。