[论文解读] Efficient Aggregated Kernel Tests using Incomplete $U$-statistics

Antonin Schrab, Ilmun Kim+2 more|arXiv (Cornell University)|Jun 18, 2022

Statistical Methods and Inference被引用 7

一句话总结

本文提出了一种高效、计算可扩展的基于核的非参数检验方法——MMDAggInc、HSICAggInc 和 KSDAggInc，采用不完整 U-统计量，在线性与二次时间复杂度之间取得平衡。该方法通过重加权自助法的分位数边界聚合多个核带宽，在两样本检验、独立性检验和拟合优度检验中均实现了极小极大最优的统一分离速率，同时保持了高检验效能。

ABSTRACT

We propose a series of computationally efficient nonparametric tests for the two-sample, independence, and goodness-of-fit problems, using the Maximum Mean Discrepancy (MMD), Hilbert Schmidt Independence Criterion (HSIC), and Kernel Stein Discrepancy (KSD), respectively. Our test statistics are incomplete $U$-statistics, with a computational cost that interpolates between linear time in the number of samples, and quadratic time, as associated with classical $U$-statistic tests. The three proposed tests aggregate over several kernel bandwidths to detect departures from the null on various scales: we call the resulting tests MMDAggInc, HSICAggInc and KSDAggInc. This procedure provides a solution to the fundamental kernel selection problem as we can aggregate a large number of kernels with several bandwidths without incurring a significant loss of test power. For the test thresholds, we derive a quantile bound for wild bootstrapped incomplete $U$-statistics, which is of independent interest. We derive non-asymptotic uniform separation rates for MMDAggInc and HSICAggInc, and quantify exactly the trade-off between computational efficiency and the attainable rates: this result is novel for tests based on incomplete $U$-statistics, to our knowledge. We further show that in the quadratic-time case, the wild bootstrap incurs no penalty to test power over the more widespread permutation-based approach, since both attain the same minimax optimal rates (which in turn match the rates that use oracle quantiles). We support our claims with numerical experiments on the trade-off between computational efficiency and test power. In all three testing frameworks, the linear-time versions of our proposed tests perform at least as well as the current linear-time state-of-the-art tests.

研究动机与目标

• 解决大规模数据场景下二次时间复杂度核检验的计算瓶颈问题。
• 通过在多个带宽上聚合，解决核带宽选择问题，同时不损失检验效能。
• 提出一种计算高效的经典 U-统计量检验的替代方法，其时间复杂度在线性与二次之间插值。
• 为基于不完整 U-统计量的检验提供非渐近的显著性水平与检验效能理论保证。
• 证明不完整 U-统计量的重加权自助分位数可实现极小极大最优分离速率，与理想情况下的性能一致。

提出的方法

• 提出用于 MMD、HSIC 和 KSD 的不完整 U-统计量估计器，通过子采样核统计量将计算成本从 O(N²) 降低至 O(N)。
• 在多个核带宽范围内聚合检验统计量，以增强对不同尺度备择分布的敏感性。
• 采用重加权自助法估计临界阈值，并提供分位数近似误差的理论界。
• 推导 MMDAggInc 和 HSICAggInc 在 Sobolev 球上的非渐近统一分离速率，表明其在效率损失范围内达到极小极大最优。
• 证明在二次时间复杂度下，重加权自助法在效能上不逊于基于置换的方法。
• 为重加权自助的不完整 U-统计量提供一个分位数界，该结果本身具有独立的理论价值。

实验结果

研究问题

• RQ1 是否可以利用不完整 U-统计量设计出在降低计算成本的同时保持高统计效能的核检验方法？
• RQ2 通过不完整 U-统计量在多个核带宽上聚合，是否能实现极小极大最优的统一分离速率？
• RQ3 在二次时间复杂度下，不完整 U-统计量的重加权自助分位数估计在效能上与基于置换的方法相比如何？
• RQ4 在使用不完整 U-统计量的聚合核检验中，计算效率与统计性能之间的权衡如何？
• RQ5 所提出的方法是否能在时间复杂度介于线性与二次之间时，实现 Sobolev 球上的最优分离速率？

主要发现

• 所提出的 MMDAggInc、HSICAggInc 和 KSDAggInc 检验在所有三种检验框架中，其效能至少与当前最先进的线性时间方法相当。
• 不完整 U-统计量的重加权自助分位数估计提供了一种有效且可靠的临界值替代方案，其性能与理想分位数的极小极大最优速率一致。
• 聚合的二次时间检验的统一分离速率为（至多一个常数因子）(N / ln(ln(N)))^(-2s/(4s+d))，在 Sobolev 球上达到极小极大最优。
• 该方法在分位数界中实现了更优的 α 依赖性，将 ln(1/α)^{3/2} 替代了 α^(-1/2)，这对多带宽聚合至关重要。
• 所提检验的计算成本在时间复杂度上介于线性和二次之间，可在大规模数据集上实现可扩展的检验，且不显著损失效能。
• 理论分析证实，计算效率与统计性能之间的权衡是最优的，其分离速率与完整 U-统计量检验相比仅相差对数因子。