[论文解读] Learning Kernel Tests Without Data Splitting

Jonas M. Kübler, Wittawat Jitkrittum+2 more|arXiv (Cornell University)|Jun 1, 2020

Geophysical Methods and Applications被引用 6

一句话总结

该论文提出了一种基于选择性推断的方法，用于在不进行数据划分的情况下学习核函数超参数并执行全数据集上的核检验，从而提升检验效能。通过以闭式形式校准检验阈值，该方法在保持有效 I 类错误控制的同时，在所有划分比例下均优于数据划分方法的实证检验效能。

ABSTRACT

Modern large-scale kernel-based tests such as maximum mean discrepancy (MMD) and kernelized Stein discrepancy (KSD) optimize kernel hyperparameters on a held-out sample via data splitting to obtain the most powerful test statistics. While data splitting results in a tractable null distribution, it suffers from a reduction in test power due to smaller test sample size. Inspired by the selective inference framework, we propose an approach that enables learning the hyperparameters and testing on the full sample without data splitting. Our approach can correctly calibrate the test in the presence of such dependency, and yield a test threshold in closed form. At the same significance level, our approach's test power is empirically larger than that of the data-splitting approach, regardless of its split proportion.

研究动机与目标

• 解决因用于超参数调优的数据划分导致的基于核函数假设检验效能损失问题。
• 开发一种方法，实现在全数据集上进行超参数学习和检验，避免样本量减少。
• 在超参数学习与测试使用相同数据所引发的依赖关系下，提供检验统计量的有效、闭式阈值。
• 在所有划分比例下，相比数据划分方法，提升实证检验效能。

提出的方法

• 将选择性推断框架适配至核检验，将超参数选择视为模型选择事件。
• 在选定的核超参数条件下定义原假设分布，确保在数据重复使用的情况下仍能获得有效 p 值。
• 推导出考虑超参数选择的检验统计量闭式阈值表达式。
• 将该方法应用于最大均值差异（MMD）和核化 Stein 散度（KSD）检验。
• 使用全数据集进行超参数学习和检验统计量计算，彻底消除数据划分。

实验结果

研究问题

• RQ1 我们能否在不损害 I 类错误控制的前提下，在全数据集上学习核超参数并执行核检验？
• RQ2 在不同划分比例下，所提出方法与数据划分方法相比，其检验效能如何？
• RQ3 当超参数从用于测试的相同数据中学习时，能否为检验统计量推导出闭式阈值？
• RQ4 尽管超参数选择与检验统计量之间存在依赖关系，该方法是否仍能保持有效推断？

主要发现

• 无论划分比例如何，所提出方法在相同显著性水平下均实现了高于数据划分方法的实证检验效能。
• 该方法为检验统计量提供了闭式阈值，从而实现高效且精确的推断。
• I 类错误率得到良好控制，证明了选择性推断校准的有效性。
• 该方法消除了数据划分的需要，从而保留了全部可用数据用于检验。