[论文解读] Graph-Based Two-Sample Tests for Discrete Data

Jingru Zhang, Hao Chen|arXiv (Cornell University)|Nov 12, 2017

Complex Network Analysis Techniques被引用 3

一句话总结

本文提出了一种适用于离散数据的扩展图基两样本检验方法，解决了重复观测存在时对相似性图选择的敏感性问题。通过推导p值的解析近似，该方法实现了大规模数据集的高效应用，已在电话通话网络数据集上通过gTests R包得到验证。

ABSTRACT

In the regime of two-sample comparison, tests based on a graph constructed on observations by utilizing similarity information among them is gaining attention due to their flexibility and good performances for high-dimensional/non-Euclidean data. However, when there are repeated observations, these graph-based tests could be problematic as they are versatile to the choice of the similarity graph. We propose extended graph-based test statistics to resolve this problem. The analytic p-value approximations to these extended graph-based tests are derived to facilitate the application of these tests to large datasets. The new tests are illustrated in the analysis of a phone-call network dataset. All tests are implemented in an R package gTests.

研究动机与目标

• 解决现有图基两样本检验在存在重复观测时的不稳定性问题。
• 降低在高维或非欧几里得数据设置下，图基检验对相似性图选择的敏感性。
• 通过解析p值近似推导计算高效的检验方法，以适用于大规模数据集。
• 为现实世界应用（如网络分析）中的离散数据比较提供实用且可扩展的解决方案。

提出的方法

• 通过修改检验统计量的公式，将传统图基检验统计量扩展以考虑重复观测。
• 利用从观测数据构建的相似性图来编码观测之间的成对关系。
• 推导p值的解析近似，以避免基于置换的计算，从而实现可扩展性。
• 将该方法应用于电话通话网络数据集，以展示其经验性能。
• 在R包gTests中实现所提出的检验，以确保可重现性和可访问性。

实验结果

研究问题

• RQ1 当离散数据中存在重复观测时，图基两样本检验的表现如何？
• RQ2 在存在重复数据的情况下，图基检验的性能在多大程度上对相似性图的选择敏感？
• RQ3 能否为扩展的图基检验统计量有效推导出解析p值近似，以提升计算效率？
• RQ4 与现有方法相比，所提出的扩展检验在控制第一类错误率和统计功效方面表现如何？

主要发现

• 所提出的扩展图基检验在存在重复观测时，对相似性图选择表现出更高的鲁棒性。
• 与基于置换的方法相比，解析p值近似显著降低了计算成本，从而实现了对大规模数据集的可扩展性。
• 在存在重复数据的情况下，该检验保持了适当的第一类错误率，并表现出良好的统计功效。
• 在电话通话网络数据集上的实证结果证实了所提出方法的实用性和可靠性。