[论文解读] A Witness Two-Sample Test

Jonas M. Kübler, Wittawat Jitkrittum+2 more|arXiv (Cornell University)|Feb 10, 2021

Machine Learning in Materials Science被引用 2

一句话总结

本文提出了一种名为Witness Two-Sample Test（WiTS）的新颖两阶段非参数假设检验方法，该方法从训练数据中学习最优的一维见证函数以最大化检验效能，随后通过置换检验计算p值进行推断。该方法在合成数据和真实世界数据（包括希格斯玻色子数据集）上均优于MMD和基于分类的检验方法，通过联合优化见证函数并高效利用全部数据，在不发生过拟合的前提下显著提升了数据效率。

ABSTRACT

The Maximum Mean Discrepancy (MMD) has been the state-of-the-art nonparametric test for tackling the two-sample problem. Its statistic is given by the difference in expectations of the witness function, a real-valued function defined as a weighted sum of kernel evaluations on a set of basis points. Typically the kernel is optimized on a training set, and hypothesis testing is performed on a separate test set to avoid overfitting (i.e., control type-I error). That is, the test set is used to simultaneously estimate the expectations and define the basis points, while the training set only serves to select the kernel and is discarded. In this work, we propose to use the training data to also define the weights and the basis points for better data efficiency. We show that 1) the new test is consistent and has a well-controlled type-I error; 2) the optimal witness function is given by a precision-weighted mean in the reproducing kernel Hilbert space associated with the kernel; and 3) the test power of the proposed test is comparable or exceeds that of the MMD and other modern tests, as verified empirically on challenging synthetic and real problems (e.g., Higgs data).

研究动机与目标

• 解决现有基于MMD的两样本检验方法在核选择后丢弃训练数据所导致的数据效率降低的问题。
• 通过学习与问题相关的见证函数而非依赖预设或优化的核函数，提升检验效能。
• 提供理论基础坚实、一致的检验方法，实现对I类错误的良好控制，并保证检验统计量的渐近正态性。
• 使标准机器学习技术（如函数类选择与超参数调优）可应用于两样本检验任务。
• 通过实证结果证明，学习见证函数在挑战性基准测试中可超越学习核函数的检验效能。

提出的方法

• WiTS检验通过在训练集上最大化检验效能准则来学习见证函数，采用再生核希尔伯特空间（RKHS）中的精度加权均值。
• 见证函数被定义为一个正则化优化问题的解，该问题在拟合度与平滑性之间取得平衡，从而确保泛化能力。
• 检验统计量为在两个测试集上计算的见证函数样本均值之差，该统计量在原假设与备择假设下均渐近服从正态分布。
• 通过置换检验近似原假设分布，确保在无需独立测试集的情况下实现有效的I类错误控制。
• 通过在核优化后学习见证函数，将方法扩展至深度核MMD，实现见证函数的端到端训练。
• 该框架具有通用性，可适用于任意函数类，不限于核函数，从而可与分类和回归工具无缝集成。

实验结果

研究问题

• RQ1 从训练数据中学习一维见证函数是否能相比经过核优化的标准MMD提升检验效能？
• RQ2 基于见证的两样本检验是否能在实现更高统计效能的同时保持良好的I类错误控制？
• RQ3 WiTS检验在真实世界与合成数据上与经过优化核的MMD及基于分类的两样本检验相比表现如何？
• RQ4 见证函数能否在高维或大规模场景下被高效且可扩展地学习？
• RQ5 WiTS框架是否与现代深度核方法及其他函数类兼容？

主要发现

• 在希格斯玻色子数据集上，WiTS检验的统计效能高于经过优化的深度核MMD（opt-mmd-witness），尤其在中等样本量下表现更优。
• 在合成的Blobs数据集上，WiTS方法（如opt-mmd-witness）在不同数据划分比例下均优于opt-mmd-boot及其他基线方法。
• 在合成与真实世界基准测试中，包括每类样本数超过1000的希格斯数据集，基于见证的方法始终优于基线MMD与基于分类的检验方法（如C2ST）。
• 通过置换检验估计原假设分布，该方法即使在从训练数据学习见证函数的情况下，也能保持良好的I类错误率控制。
• 数学上证明最优见证函数为RKHS中的精度加权均值，从而为学习目标提供了理论依据。
• 该框架具备可扩展性：使用包含500个中心的Nyström近似，kfda-witness在希格斯数据集上实现了高性能，同时显著降低了计算成本。