[论文解读] B-tests: Low Variance Kernel Two-Sample Tests

Wojciech Zaremba, Arthur Gretton+1 more|arXiv (Cornell University)|Jul 8, 2013

Statistical Methods and Inference参考文献 19被引用 6

一句话总结

本文提出了 B-tests，一种低方差的核双边检验家族，通过在小的非重叠数据块上计算最大均值差异（MMD），并平均结果来实现。通过调节块大小 B，B-tests 在计算效率与统计功效之间取得平衡，其原假设分布渐近正态，可实现快速 p 值计算，并在样本效率和速度上优于线性时间的 MMD_l 和二次时间的 MMD_u。

ABSTRACT

A family of maximum mean discrepancy (MMD) kernel two-sample tests is introduced. Members of the test family are called Block-tests or B-tests, since the test statistic is an average over MMDs computed on subsets of the samples. The choice of block size allows control over the tradeoff between test power and computation time. In this respect, the $B$-test family combines favorable properties of previously proposed MMD two-sample tests: B-tests are more powerful than a linear time test where blocks are just pairs of samples, yet they are more computationally efficient than a quadratic time test where a single large block incorporating all the samples is used to compute a U-statistic. A further important advantage of the B-tests is their asymptotically Normal null distribution: this is by contrast with the U-statistic, which is degenerate under the null hypothesis, and for which estimates of the null distribution are computationally demanding. Recent results on kernel selection for hypothesis testing transfer seamlessly to the B-tests, yielding a means to optimize test power via kernel choice.

研究动机与目标

• 为解决现有基于 MMD 的双边检验在计算与统计上的低效问题，特别是 U-统计量原假设分布估计的高成本，以及线性时间估计器的高方差。
• 开发一种检验家族，保留线性时间 MMD_l 的渐近正态性以实现快速 p 值计算，同时通过分块平均降低方差。
• 通过利用渐近正态的原假设分布，实现高效核选择，从而优化检验功效。
• 为 MMD_u 提供一种计算高效的替代方案，避免自助法和特征分解法原假设分布估计的低效性，后者随样本量增长而显著恶化。

提出的方法

• B-test 在大小为 B 的非重叠数据块上计算 U-统计量 MMD，然后对块统计量取平均，形成最终检验统计量。
• 块大小 B 的选择满足当 n 增大时 n/B → ∞，从而在原假设 H₀ 和备择假设 Hₐ 下，依据中心极限定理，确保检验统计量的渐近正态性。
• 原假设分布近似为均值为零、方差由块级 MMD 方差推导出的正态分布，从而实现 O(n) 复杂度的快速 p 值计算。
• B-tests 的核选择采用针对 MMD_l 优化的现有方法，如中位数法则或基于谱的核选择，因为两者具有相同的渐近正态性。
• 通过将样本划分为块，避免了完整 U-统计量的退化问题，从而无需昂贵的特征分解或自助法。
• 该检验具有一致性，且在中等至大块大小下统计功效较高，因为相比 MMD_l，其方差更低。

实验结果

研究问题

• RQ1 能否设计一种双边检验，兼具完整 U-统计量 MMD_u 的低方差与线性时间 MMD_l 的计算效率和简单原假设分布？
• RQ2 在小的非重叠块上计算 MMD 统计量并取平均，是否能产生具有渐近正态原假设分布的检验，从而实现快速 p 值计算？
• RQ3 B-tests 是否能在计算成本相近的情况下，相比 MMD_l 实现更高的统计功效，特别是在有限样本情形下？
• RQ4 B-tests 的核选择与现有方法相比如何？由于具有正态原假设分布，是否能实现高效优化？
• RQ5 在合成数据与真实世界数据中，块大小 B 与检验性能（包括第一类与第二类错误率）之间的权衡如何？

主要发现

• 在所有测试的核选择策略下，B-tests 的第二类错误率显著低于 MMD_l，表现出更优的样本效率。
• 在音乐数据集上，采用多核与 B=√(n/2) 的 B-test 在 18.285 秒内实现 0.012 的第二类错误率，显著优于 MMD_l 的统计功效，且计算成本仅适度增加。
• 采用 B=2000 与 σ=1 的 B-test 在 1000 次重复中实现零第一类与第二类错误，表明其性能强劲，尽管原假设分布估计较为保守。
• 采用 B=√n 与中位数核的 B-test 实现 0.006 的第一类错误率与 0.597 的第二类错误率，显示在保持计算可行性的同时，相比 MMD_l 显著提升了功效。
• B-tests 的计算速度相比基于自助法与特征分解的 MMD_u 原假设分布估计快一个数量级，后者的复杂度分别为 O(n³) 与 O(n²)。
• 实证结果表明，所有设置下原假设分布均呈保守性（第一类错误 < 5%），但 B-tests 仍保持强大功效，表明其具有鲁棒性与可靠性。