[论文解读] B-test: A Non-parametric, Low Variance Kernel Two-sample Test

Wojciech Zaremba, Arthur Gretton+1 more|arXiv (Cornell University)|Jan 1, 2013

Statistical Methods and Inference参考文献 22被引用 45

一句话总结

该论文提出了B-tests，一种基于最大均值差异（MMD）的非参数、低方差核两样本检验方法，具有低样本复杂度和高统计功效。通过使用一个超参数来平衡计算效率与方差减少，B-tests比以往方法更有效地利用样本，减少了核函数评估次数，并避免了复杂零分布近似，同时保持了一致性和保守的I类错误控制。

ABSTRACT

We propose a family of maximum mean discrepancy (MMD) kernel two-sample tests that have low sample complexity and are consistent. The test has a hyper-parameter that allows one to control the tradeoff between sample complexity and computational time. Our family of tests, which we denote as B-tests, is both computationally and statistically efficient, combining favorable properties of pre-viously proposed MMD two-sample tests. It does so by better leveraging sam-ples to produce low variance estimates in the finite sample case, while avoiding a quadratic number of kernel evaluations and complex null-hypothesis approxima-tion as would be required by tests relying on one sample U-statistics. The B-test uses a smaller than quadratic number of kernel evaluations and avoids completely the computational burden of complex null-hypothesis approximation, while main-taining consistency and probabilistically conservative thresholds on Type I error. Finally, recent results of combining multiple kernels transfer seamlessly to our hypothesis test, allowing a further increase in discriminative power and decrease in sample complexity. 1

研究动机与目标

• 开发一种计算高效且统计功效强大的基于核函数的分布比较两样本检验方法。
• 在保持一致性和有限样本中I类错误控制的前提下，降低样本复杂度。
• 与基于U-统计量的MMD检验相比，最小化核函数评估次数。
• 避免以往方法中用于零假设近似的复杂计算负担。
• 实现多种核函数组合的无缝集成，以增强判别能力。

提出的方法

• B-tests是一类基于MMD的两样本检验方法，通过一个超参数控制样本复杂度与计算时间之间的权衡。
• 该方法采用一种新型估计器，通过更有效地利用有限样本以减少方差，避免了对二次方数量核函数评估的需求。
• 它用更高效的估计策略替代了一样本U-统计量，避免了零抽样分布近似带来的计算开销。
• 该检验通过设计保证了一致性以及I类错误的概率保守阈值。
• 该框架天然支持多种核函数组合，增强判别能力，同时不会过度增加计算复杂度。
• 该方法是非参数的，对分布假设具有鲁棒性，仅依赖于再生核希尔伯特空间中的核嵌入。

实验结果

研究问题

• RQ1 能否设计一种两样本检验方法，在保持统计一致性与有限样本中方差较低的前提下，实现低样本复杂度？
• RQ2 如何在不牺牲统计功效或I类错误控制的前提下，提升基于MMD检验的计算效率？
• RQ3 通过更智能地利用样本，能在多大程度上减少有限样本中MMD估计的方差？
• RQ4 能否将核函数评估次数减少到低于二次方量级，同时保持检验的可靠性？
• RQ5 在低方差MMD检验框架中，多核学习的集成能多有效地提升性能？

主要发现

• B-tests通过有效利用样本，在有限样本中产生低方差估计，从而实现低样本复杂度。
• 该方法所需的核函数评估次数少于二次方量级，与标准基于U-统计量的MMD检验相比，显著降低了计算成本。
• B-tests避免了复杂的零分布近似，消除了现有方法中的主要计算瓶颈。
• 该检验保持了一致性以及I类错误的保守概率阈值，确保了可靠性。
• 多种核函数的集成增强了判别能力，并进一步减少了所需样本量。
• 该框架在计算和统计两方面均高效，结合了以往MMD检验的优势，同时克服了其关键局限。