[论文解读] Hypothesis testing using pairwise distances and associated kernels

Dino Sejdinović, Arthur Gretton+2 more|arXiv (Cornell University)|May 2, 2012

Statistical Methods and Inference参考文献 26被引用 26

一句话总结

本文通过证明具有负类型性质的半度量对应的能量距离与特定核下的再生核Hilbert空间（RKHS）距离完全一致，建立了一个统一框架，将两样本检验和独立性检验中的能量距离与基于核的方法联系起来。该研究识别出此类核为特征核的分布类别，并表明同一族中的其他核可提供比常用能量距离更强大的统计检验。

ABSTRACT

We provide a unifying framework linking two classes of statistics used in two-sample and independence testing: on the one hand, the energy distances and distance covariances from the statistics literature; on the other, distances between embeddings of distributions to reproducing kernel Hilbert spaces (RKHS), as established in machine learning. The equivalence holds when energy distances are computed with semimetrics of negative type, in which case a kernel may be defined such that the RKHS distance between distributions corresponds exactly to the energy distance. We determine the class of probability distributions for which kernels induced by semimetrics are characteristic (that is, for which embeddings of the distributions to an RKHS are injective). Finally, we investigate the performance of this family of kernels in two-sample and independence tests: we show in particular that the energy distance most commonly employed in statistics is just one member of a parametric family of kernels, and that other choices from this family can yield more powerful tests. Copyright 2012 by the author(s)/owner(s).

研究动机与目标

• 统一两类重要的统计检验方法：来自统计学的能量距离与来自机器学习的RKHS距离嵌入方法。
• 建立具有负类型半度量的能量距离与通过诱导核得到的RKHS距离完全对应的确切条件。
• 确定在何种概率分布类别下，此类诱导核为特征核（即，将分布到RKHS的映射为单射）。
• 评估所提出的核族在两样本检验和独立性检验中的经验性能，识别出比标准能量距离更具功效的替代核。

提出的方法

• 定义一类可诱导RKHS中概率测度嵌入的有效核的负类型半度量。
• 证明在该类核下，概率测度之间的RKHS距离等于使用对应半度量计算的能量距离。
• 刻画诱导核为特征核的概率分布集合，确保不同分布被映射为RKHS中不同的元素。
• 从能量距离框架中推导出一个参数化的核族，其参数由半度量的选择决定。
• 将所得核应用于两样本检验和独立性检验，比较不同参数选择下的检验功效。
• 通过理论与经验分析证明，该核族中的某些成员在检验功效方面显著优于标准能量距离。

实验结果

研究问题

• RQ1 在何种条件下，使用负类型半度量计算的能量距离会与通过诱导核得到的概率测度之间的RKHS距离完全一致？
• RQ2 当通过负类型半度量诱导核时，哪些概率分布可产生特征核？
• RQ3 在基于能量距离的同一参数化核族中，其他核是否可提供比标准能量距离更强大的两样本检验与独立性检验？
• RQ4 在实际应用中，该族内半度量的选择如何影响检验性能？

主要发现

• 使用负类型半度量计算的能量距离在数学上等价于通过诱导核得到的RKHS距离，为两种统计检验框架提供了统一的理论联系。
• 诱导核为特征核的概率分布类别已被完整刻画，确保不同分布被映射为RKHS中不同的元素。
• 统计学中常用的能量距离只是从负类型半度量导出的更广泛参数化核族中的一个特例。
• 根据底层分布特性，该核族中的其他成员可显著提升两样本检验与独立性检验的功效。
• 该框架通过利用基于半度量构造的参数灵活性，实现了更具功效核的系统性选择。