[论文解读] MMD-FUSE: Learning and Combining Kernels for Two-Sample Testing Without Data Splitting

Felix Biggs, Antonin Schrab+1 more|arXiv (Cornell University)|Jun 14, 2023

Statistical Methods and Inference被引用 4

一句话总结

MMD-FUSE 提出了一种新颖的两样本检验方法，通过自适应地结合多个核函数，利用加权软最大值来最大化检验效能，且无需数据分割。通过在完整数据集上以无监督、置换无关的方式学习特征提取器和核权重，该方法在原假设与备择假设下均实现了校准良好、效能高的检测，并具备指数级集中性界。

ABSTRACT

We propose novel statistics which maximise the power of a two-sample test based on the Maximum Mean Discrepancy (MMD), by adapting over the set of kernels used in defining it. For finite sets, this reduces to combining (normalised) MMD values under each of these kernels via a weighted soft maximum. Exponential concentration bounds are proved for our proposed statistics under the null and alternative. We further show how these kernels can be chosen in a data-dependent but permutation-independent way, in a well-calibrated test, avoiding data splitting. This technique applies more broadly to general permutation-based MMD testing, and includes the use of deep kernels with features learnt using unsupervised models such as auto-encoders. We highlight the applicability of our MMD-FUSE test on both synthetic low-dimensional and real-world high-dimensional data, and compare its performance in terms of power against current state-of-the-art kernel tests.

研究动机与目标

• 为解决基于 MMD 的两样本检验中核函数选择这一关键限制问题，该问题显著影响检验效能。
• 消除核函数选择中对数据分割的需求，通过使用完整数据集进行核函数学习与检验，从而保留统计效能。
• 开发一种系统化、校准良好的方法，将多个核函数——尤其是深度核或学习得到的核函数——融合为单一、自适应的检验统计量。
• 为所提出的检验提供理论保证，包括在原假设与备择假设下均具备的指数级集中性界。

提出的方法

• 提出一种新的检验统计量 FUSE，基于一组核函数的归一化 MMD 值的加权软最大值，核权重通过变分推断学习得到。
• 引入一种无监督、置换无关的方法，利用完整数据集选择核函数特征（例如通过自编码器或自监督模型）。
• 采用变分近似方法对核权重的后验分布进行近似，从而在有限核集合上实现融合统计量的闭式计算。
• 推导出在原假设与备择假设下 FUSE 统计量的指数级集中性界，确保类型 I 与 II 误差的校准控制。
• 将该框架应用于有限与无限核集合，包括在完整数据集上无监督训练的深度核函数。
• 使用基于散度的正则化（KL 散度与先验结合）以在核权重优化过程中防止过拟合。

实验结果

研究问题

• RQ1 我们能否在不分割数据的情况下，为基于 MMD 的两样本检验学习最优核函数特征？
• RQ2 如何将不同核函数下的多个 MMD 统计量融合为一个自适应的检验统计量，以提升检验效能？
• RQ3 我们能否在不进行数据分割的前提下，实现理论保证（如指数级集中性与校准良好的类型 I 误差）？
• RQ4 所提出的方法在统计功效方面是否优于现有的核函数选择启发式方法与数据分割方法？
• RQ5 该框架能否应用于深度核函数与无监督特征提取器，同时保持有效性？

主要发现

• MMD-FUSE 检验在无需数据分割的情况下实现了校准良好的类型 I 误差控制，其理论集中性界已得到验证。
• 该方法在原假设与备择假设下均实现了检验统计量的指数级集中性，从而提供了强大的效能保证。
• 通过在完整数据集上学习核函数特征与权重，MMD-FUSE 避免了数据分割带来的效能损失，尤其在小样本情形下优势显著。
• 所提出的基于变分加权的软最大值融合机制，实现了自适应核函数组合，其性能优于固定核选择与启发式带宽选择方法。
• 该框架支持深度核函数与无监督特征提取器（如自编码器、对比模型），扩展了其在图像等高维数据中的适用性。
• 实证结果表明，MMD-FUSE 在合成数据与真实世界数据集上均实现了高于当前最先进核函数检验方法的检验功效，尤其在高维设置下表现更优。