[论文解读] On the High-dimensional Power of Linear-time Kernel Two-Sample Testing under Mean-difference Alternatives

Aaditya Ramdas, Sashank J. Reddi+3 more|arXiv (Cornell University)|Nov 23, 2014

Statistical Methods and Inference参考文献 16被引用 7

一句话总结

本文首次在高维设定下，对线性时间最大均值差异（MMD）检验在均值位移替代假设下的统计功效进行了显式表征，表明当样本量 n 的增长速度快于维度 d 且信噪比恒定时，功效趋近于 1。分析结果表明，当带宽随维度适当缩放时，该检验在高维下仍保持高功效，验证了其在现代数据环境下对非参数两样本检验的鲁棒性。

ABSTRACT

Nonparametric two sample testing deals with the question of consistently deciding if two distributions are different, given samples from both, without making any parametric assumptions about the form of the distributions. The current literature is split into two kinds of tests - those which are consistent without any assumptions about how the distributions may differ ( extit{general} alternatives), and those which are designed to specifically test easier alternatives, like a difference in means ( extit{mean-shift} alternatives). The main contribution of this paper is to explicitly characterize the power of a popular nonparametric two sample test, designed for general alternatives, under a mean-shift alternative in the high-dimensional setting. Specifically, we explicitly derive the power of the linear-time Maximum Mean Discrepancy statistic using the Gaussian kernel, where the dimension and sample size can both tend to infinity at any rate, and the two distributions differ in their means. As a corollary, we find that if the signal-to-noise ratio is held constant, then the test's power goes to one if the number of samples increases faster than the dimension increases. This is the first explicit power derivation for a general nonparametric test in the high-dimensional setting, and also the first analysis of how tests designed for general alternatives perform when faced with easier ones.

研究动机与目标

• 在高维渐近设定下，表征一般非参数两样本检验（使用高斯核的线性时间 MMD）在均值位移替代假设下的功效。
• 分析为一般替代假设设计的检验在面对更简单、结构化的替代假设（如均值差异）时的表现。
• 推导当样本量 n 和维度 d 同时趋于无穷时，检验功效的精确渐近表达式。
• 通过模拟验证理论预测，包括 Berry-Esseen 边界、检验统计量的正态性，以及 MMD 随维度和带宽的变化规律。

提出的方法

• 利用 U-统计量理论和中心极限定理，推导线性时间 MMD 统计量在均值位移替代假设下的渐近分布。
• 应用 Berry-Esseen 定理，对收敛到正态分布的速率进行上界估计，表明该上界与维度 d 无关。
• 利用总体矩（至三阶）推导在原假设和备择假设下检验统计量的方差和偏度。
• 证明在适当标准化后，检验统计量在原假设下收敛于标准正态分布，而在备择假设下具有非中心化参数。
• 通过蒙特卡洛模拟验证理论预测，使用高斯分布和 t 分布数据，在不同维度和带宽下进行实验。
• 表明当信噪比固定时，检验功效随 1/√d 变化；当 n 与 d 成比例增长时，功效保持恒定。

实验结果

研究问题

• RQ1 当维度 d 和样本量 n 同时趋于无穷时，线性时间 MMD 检验在均值位移替代假设下的功效如何变化？
• RQ2 在高维设定下，检验功效的精确渐近缩放关系是什么，特别是与 n/d 比值的关系如何？
• RQ3 当 d → ∞ 时，该检验在均值位移替代假设下是否保持一致性？若成立，对 n 和 d 的条件是什么？
• RQ4 带宽 γ 的选择如何影响检验功效？当 γ = Ω(√d) 时，该缩放关系是否与 γ 无关？
• RQ5 在高维下，检验统计量的原假设和备择分布在多大程度上近似正态分布？

主要发现

• 当 n → ∞ 且 n 的增长速度快于 d 时，使用高斯核的线性时间 MMD 检验的功效趋近于 1，前提是信噪比保持恒定。
• 当信噪比固定且 n 保持不变时，检验功效随 1/√d 变化，验证了理论预测。
• 当 n = d 且信噪比恒定时，随着 d 增加，检验功效保持近似恒定，验证了推论 1。
• 当 n = d 且信噪比随 d^{1/4} 缩放时，检验功效随 √d 增加，验证了推论 2。
• 模拟结果表明，检验统计量的 Berry-Esseen 边界在不同维度和分布下均近似恒定（≈1.65），即使在重尾的 t₄ 分布下也成立。
• 标准化检验统计量 √n MMD² / √V 在原假设和备择假设下均收敛于标准正态分布，即使在小样本 n 下也成立，表明其正态性收敛迅速。