[论文解读] A Kernel Method for the Two-Sample Problem

Arthur Gretton, Karsten Borgwardt+3 more|ArXiv.org|May 15, 2008

Data Stream Mining Techniques参考文献 47被引用 249

一句话总结

本文提出了最大均值差异（MMD），一种基于核函数的两样本检验方法，用于衡量再生核希尔伯特空间（RKHS）单位球内函数上期望值的最大差异。该方法提供了具有有限样本保证和渐近近似的一致非参数检验，实现二次时间复杂度计算与线性时间近似，且在高维数据（包括图结构和微阵列数据集）上表现出色。

ABSTRACT

We propose a framework for analyzing and comparing distributions, allowing us to design statistical tests to determine if two samples are drawn from different distributions. Our test statistic is the largest difference in expectations over functions in the unit ball of a reproducing kernel Hilbert space (RKHS). We present two tests based on large deviation bounds for the test statistic, while a third is based on the asymptotic distribution of this statistic. The test statistic can be computed in quadratic time, although efficient linear time approximations are available. Several classical metrics on distributions are recovered when the function space used to compute the difference in expectations is allowed to be more general (eg. a Banach space). We apply our two-sample tests to a variety of problems, including attribute matching for databases using the Hungarian marriage method, where they perform strongly. Excellent performance is also obtained when comparing distributions over graphs, for which these are the first such tests.

研究动机与目标

• 开发一种非参数统计检验方法，以判断两个样本是否来自不同的概率分布。
• 通过使用通用再生核希尔伯特空间（RKHS）中的函数类，确保检验的一致性并提供有限样本性能保证。
• 为大规模数据提供计算高效的替代方案，包括线性时间近似方法。
• 将该方法应用于生物信息学、神经数据建模和数据库属性匹配等实际问题。
• 证明当函数类足够丰富时（例如通用RKHS），MMD统计量是概率分布上的有效度量。

提出的方法

• 将最大均值差异（MMD）定义为在通用RKHS单位球上，所有函数期望值之间最大差异。
• 利用一致收敛界推导出两种具有保证的类型I错误控制的有限样本假设检验。
• 基于原假设下经验MMD的极限分布，推导出第三种渐近检验。
• 提出一种基于随机傅里叶特征或其它压缩技术的MMD线性时间近似方法。
• 通过涉及两个分布样本之间成对核函数评估的U-统计量估计器计算MMD。
• 建立理论性质：当RKHS为通用时，MMD当且仅当底层分布相等时为零。

实验结果

研究问题

• RQ1 能否构建一种基于核函数的检验统计量，以一致地检测两个概率分布之间的差异？
• RQ2 何种函数类可确保MMD仅在两个分布完全相同时为零？
• RQ3 如何为MMD检验统计量提供有限样本性能保证？
• RQ4 在原假设下，经验MMD的渐近分布为何？
• RQ5 能否在不损失统计功效的前提下，推导出MMD的计算高效线性时间近似？

主要发现

• 当函数类为通用RKHS的单位球时，MMD是概率分布上的有效度量，确保MMD = 0当且仅当p = q。
• 基于一致收敛界推导的有限样本检验提供了非渐近的类型I错误控制，尽管统计功效偏保守。
• 基于MMD极限分布的渐近检验在小样本量下比有限样本界更具统计功效。
• MMD可在O((m+n)²)时间内计算，其中m和n为样本数，且对大规模数据集提供了线性时间近似。
• 该方法在使用匈牙利婚姻算法进行属性匹配时表现优异，优于基线方法。
• 实证结果表明，该方法在高维数据（包括微阵列数据和图结构分布）上表现极佳，而此前此类两样本检验方法尚不存在。