[论文解读] A Wild Bootstrap for Degenerate Kernel Tests

Kacper Chwialkowski, Dino Sejdinović+1 more|arXiv (Cornell University)|Aug 23, 2014

Bayesian Methods and Mixture Models参考文献 32被引用 25

一句话总结

本文提出了一种针对具有时间依赖性的时间序列中基于核函数的非参数假设检验的野生自展法，其中标准的基于置换的自展法失效。通过将独立同分布的 Rademacher 或高斯噪声乘以 V-统计量核函数，该方法一致地估计退化检验统计量的零分布，从而在弱依赖性（τ-混合）条件下实现两样本检验和独立性检验的有效推断。主要贡献在于在时间依赖性条件下实现了可证明的一致性检验，优于基于置换和位移的方法，在合成数据和真实世界数据中表现更优。

ABSTRACT

A wild bootstrap method for nonparametric hypothesis tests based on kernel distribution embeddings is proposed. This bootstrap method is used to construct provably consistent tests that apply to random processes, for which the naive permutation-based bootstrap fails. It applies to a large group of kernel tests based on V-statistics, which are degenerate under the null hypothesis, and non-degenerate elsewhere. To illustrate this approach, we construct a two-sample test, an instantaneous independence test and a multiple lag independence test for time series. In experiments, the wild bootstrap gives strong performance on synthetic examples, on audio data, and in performance benchmarking for the Gibbs sampler.

研究动机与目标

• 为解决在具有时间依赖性的时间序列中基于置换的自展法失效的问题，此类方法会导致第一类错误率膨胀。
• 开发一种可推广的自展方法，适用于所有基于 V-统计量的核检验，而不仅限于独立性检验。
• 确保检验的可证明一致性——随着样本量增加，第一类错误率收敛至名义水平 α，第二类错误率趋于零——在弱依赖性（τ-混合）条件下成立。
• 将现有方法（如基于位移的零分布估计）扩展至更广泛的检验场景，包括两样本检验和多滞后独立性检验。

提出的方法

• 该方法将野生自展法应用于 V-统计量，即对所有时间点的 m 元组取核函数的归一化和：$ V = \frac{1}{n^{m-1}} \sum_{i_1,\dots,i_m=1}^n h(Z_{i_1}, \dots, Z_{i_m}) $。
• 在原假设下，检验统计量为退化形式（渐近非中心卡方分布，且成分之间存在依赖），导致标准置换法失效。
• 野生自展通过将核函数的自变量乘以独立同分布的随机变量（如 Rademacher 或高斯分布）来生成自展重抽样，从而打破依赖性，同时保留结构。
• 检验临界值设定为野生自展统计量经验分布的 $1 - \alpha$ 分位数，以确保检验大小正确。
• 该方法在 τ-混合条件下具有理论依据，允许时间序列中存在弱时间依赖性。
• 该方法应用于 MMD（两样本检验）和 HSIC（独立性检验），包括时间序列的多滞后版本。

实验结果

研究问题

• RQ1 能否设计一种自展方法，以一致地估计弱依赖时间序列中退化 V-统计量检验统计量的零分布？
• RQ2 在具有时间依赖性的时间序列中，野生自展法是否优于基于置换的自展法？
• RQ3 野生自展法能否推广至独立性检验之外的其他基于核函数的检验，如两样本检验？
• RQ4 野生自展法在检测时间序列中多滞后依赖性方面表现如何，尤其是在滞后结构未知的情况下？
• RQ5 野生自展法对模型误设是否具有鲁棒性，并在高维或复杂时间序列（如音频信号）中是否有效？

主要发现

• 在两样本音频信号检验中，野生自展法将第一类错误控制在名义水平 α = 0.05，且随着样本量增加，第二类错误率降低；而置换检验在原假设下仍持续拒绝原假设，导致第一类错误率严重膨胀。
• 在瞬时独立性检验中，基于野生自展法的 HSIC 检验表现与 [8] 中的位移-HSIC 方法相当，两者均实现了稳定的第一类和第二类错误率。
• 在多滞后依赖检测中，基于野生自展法的滞后-HSIC 检验随着样本量增加，第二类错误率降至零，而 KCSD 在相同条件下第二类错误率仍高达 90%。
• 在具有共同方差动态的计量经济学 GARCH 型过程中，滞后-HSIC 实现了接近零的第二类错误率，而 KCSD 仍维持在 90%，表明其对滞后依赖具有更高的敏感性。
• 该方法在多种数据类型（包括合成时间序列、音频信号和 MCMC 诊断）中表现稳健，野生自展法引入的人工退化仅导致第一类错误率轻微膨胀，且随样本量增加而减弱。
• 广义帕累托分布对野生自展分布的尾部分布提供了良好近似，从而实现了大规模样本下高效分位数估计。