[论文解读] Hypothesis testing using pairwise distances and associated kernels (with Appendix)

Dino Sejdinović, Arthur Gretton+2 more|arXiv (Cornell University)|May 2, 2012

Statistical Methods and Inference参考文献 24被引用 7

一句话总结

本文建立了一个统一框架，表明在使用从负类型半度量导出的新一族距离诱导核时，统计学中的能量距离和距离协方差与机器学习中的最大均值差异（MMD）和希尔伯特-施密特独立性准则（HSIC）等价。关键贡献在于识别出常用的能量距离（q=1）仅为核族中的一个成员，而更小的指数（如 q=1/3 或 q=1/6）在检测高频或细尺度分布差异时，显著提升两样本检验与独立性检验的统计功效。

ABSTRACT

We provide a unifying framework linking two classes of statistics used in two-sample and independence testing: on the one hand, the energy distances and distance covariances from the statistics literature; on the other, distances between embeddings of distributions to reproducing kernel Hilbert spaces (RKHS), as established in machine learning. The equivalence holds when energy distances are computed with semimetrics of negative type, in which case a kernel may be defined such that the RKHS distance between distributions corresponds exactly to the energy distance. We determine the class of probability distributions for which kernels induced by semimetrics are characteristic (that is, for which embeddings of the distributions to an RKHS are injective). Finally, we investigate the performance of this family of kernels in two-sample and independence tests: we show in particular that the energy distance most commonly employed in statistics is just one member of a parametric family of kernels, and that other choices from this family can yield more powerful tests.

研究动机与目标

• 解决能量距离统计与RKHS中基于核的分布嵌入之间长期存在的关系问题。
• 识别出哪些概率分布类使得距离诱导核为特征核（即，RKHS中单射嵌入）。
• 证明常用的能量距离（q=1）并非最优，并表明核族中的其他参数选择可产生更强大的假设检验。

提出的方法

• 定义一类新的平移可变核，称为距离诱导核，其来源于负类型半度量。
• 建立使用这些核时，能量距离与MMD之间的等价性，以及距离协方差与HSIC之间的等价性。
• 证明由此产生的核对所有具有有限一阶矩的概率分布均为特征核。
• 使用这些核的MMD与HSIC的经验估计量，构建一致的两样本检验与独立性检验。
• 采用谱检验与基于自助法的检验，评估性能，避免依赖Székely等人（2007）提出的保守上界。
• 研究核参数 q 对各种合成数据集与真实世界数据集上检验功效的影响。

实验结果

研究问题

• RQ1 在统一的核框架下，能量距离/MMD 与距离协方差/HSIC 是否存在正式等价性？
• RQ2 哪些概率分布类允许由负类型半度量导出的特征核？
• RQ3 常用的能量距离（q=1）是否在所有场景下均提供最强大的两样本或独立性检验？
• RQ4 距离诱导核族中的其他参数选择是否能提升检验性能，尤其是在检测高频或细尺度分布差异时？
• RQ5 所提出的基于核的检验与自助法和谱方法相比，在检验功效与可靠性方面表现如何？

主要发现

• 使用特定距离诱导核时，q=1 的能量距离与MMD等价，但该选择在所有测试场景中并非最优。
• 由负类型半度量导出的距离诱导核对所有具有有限一阶矩的概率分布均为特征核。
• 更小的核指数（如 q=1/3 或 q=1/6）在检测高频分布差异（如正弦扰动）方面显著优于 q=1 和高斯核。
• 在两样本检验中，q=1/3 的核族在高频正弦扰动下几乎实现零误差性能，而 q=1 和高斯核则完全失效。
• 在独立性检验中，q=1/6 的核在旋转ICA基准数据上优于高斯核与标准距离协方差（q=1），尤其在小角度旋转时表现更优。
• 谱检验与基于自助法的检验性能几乎无差别，且均优于二次型检验，后者在同一设定下无法拒绝原假设。