[论文解读] Comparing distributions: $\ell_1$ geometry improves kernel two-sample testing

Meyer Scetbon, Gaël Varoquaux|arXiv (Cornell University)|Sep 19, 2019

Gaussian Processes and Bayesian Inference被引用 5

一句话总结

本文提出了一种基于 $\iota_1$-几何的两样本检验方法，通过使用空间或频域位置上解析函数期望差异的 $\ell_1$ 范数，改进了基于核函数的两样本检验。该方法在统计功效和计算速度方面优于最先进的 $\ell_2$-基方法，同时具备可解释的特征选择能力，并在合成数据和真实世界数据上表现出一致的性能。

ABSTRACT

Are two sets of observations drawn from the same distribution? This problem is a two-sample test. Kernel methods lead to many appealing properties. Indeed state-of-the-art approaches use the $L^2$ distance between kernel-based distribution representatives to derive their test statistics. Here, we show that $L^p$ distances (with $p\geq 1$) between these distribution representatives give metrics on the space of distributions that are well-behaved to detect differences between distributions as they metrize the weak convergence. Moreover, for analytic kernels, we show that the $L^1$ geometry gives improved testing power for scalable computational procedures. Specifically, we derive a finite dimensional approximation of the metric given as the $\ell_1$ norm of a vector which captures differences of expectations of analytic functions evaluated at spatial locations or frequencies (i.e, features). The features can be chosen to maximize the differences of the distributions and give interpretable indications of how they differs. Using an $\ell_1$ norm gives better detection because differences between representatives are dense as we use analytic kernels (non-zero almost everywhere). The tests are consistent, while much faster than state-of-the-art quadratic-time kernel-based tests. Experiments on artificial and real-world problems demonstrate improved power/time tradeoff than the state of the art, based on $\ell_2$ norms, and in some cases, better outright power than even the most expensive quadratic-time tests.

研究动机与目标

• 为解决现有基于核函数的两样本检验方法依赖于 $\ell_2$-基度量所带来的局限性，这些度量可能无法充分揭示分布之间的差异。
• 通过在基于核函数的分布表示上利用 $\ell_1$ 几何，开发一种更具功效且可扩展的两样本检验方法。
• 提供可解释的检验位置，突出显示分布差异发生的位置，从而增强模型的可解释性。
• 与最先进的 $\ell_2$-基方法及二次时间复杂度的核方法相比，展示出更高的统计功效和计算效率。

提出的方法

• 使用基于核函数的分布表示（如均值嵌入或平滑特征函数）之间的 $L^p$ 距离（$p \geq 1$）作为度量，该度量可度量化弱收敛性。
• 将 $L^1$ 距离的有限维近似表示为在 $J$ 个位置上解析函数期望差异向量的 $\ell_1$ 范数。
• 采用解析核函数，以确保分布表示之间差异的稠密性（几乎处处非零），从而增强通过 $\ell_1$ 范数的可检测性。
• 通过最大化 $\ell_1$-基检验统计量来优化检验位置，实现可解释且具有判别力的特征选择。
• 通过使用随机傅里叶特征，将框架适配至频域，实现线性时间计算。
• 采用子采样和随机特征近似，在保持一致性与功效的同时维持可扩展性。

实验结果

研究问题

• RQ1 基于核函数的分布表示之间的 $L^p$ 距离（$p \geq 1$）是否可作为行为良好的度量，从而度量化弱收敛性？
• RQ2 与 $\ell_2$-基统计量相比，使用特征差异的 $\ell_1$ 范数是否能提升两样本检验的检验功效？
• RQ3 由于解析核函数下非零差异的稠密性，$\ell_1$-基检验是否能更有效地检测分布差异？
• RQ4 在功效和速度方面，$\ell_1$-基检验与最先进的 $\ell_2$-基方法及二次时间复杂度的核方法相比表现如何？
• RQ5 所选的检验位置是否具有可解释性，能够有意义地揭示分布差异发生的位置？

主要发现

• $\ell_1$-基检验在合成数据和真实世界数据集（包括 20 新闻组文本数据集）上均展现出高于最先进的 $\ell_2$-基方法的统计功效。
• 在 20 新闻组数据集上，$\ell_1$-优化的均值嵌入检验在区分 'sci' 与 'comp' 时的 II 类错误为 0.00，在 'sci' 与 'alt' 对比中为 0.064，优于 $\ell_2$ 对应方法。
• 在快餐餐厅分布任务中，$\ell_1$-优化检验的 I 类错误率接近名义水平 $\alpha = 0.01$，而其他方法则更为保守。
• 学习到的检验位置可视化结果表明，$\ell_1$-优化特征集中于分布间重叠较低的区域，证实了其强大的判别能力。
• $\ell_1$-基方法在包括文本和空间数据在内的多种数据类型上均表现出一致的性能，且相较于二次时间复杂度的 MMD 显著提升了计算速度。
• 该方法的非凸优化景观捕捉到了多模态且信息丰富的检验位置配置，表明其检测能力超越了凸方法。