[论文解读] A Kernel Test of Goodness of Fit

Kacper Chwialkowski, Heiko Strathmann+1 more|arXiv (Cornell University)|Feb 9, 2016

Markov Chains and Monte Carlo Methods参考文献 37被引用 102

一句话总结

我们提出一种非参数拟合优度检验，使用在 RKHS 中的 Stein 差异，并通过野外自举（wild bootstrap）来计算其原假设分布，适用于独立同分布（i.i.d.）和相关样本。

ABSTRACT

We propose a nonparametric statistical test for goodness-of-fit: given a set of samples, the test determines how likely it is that these were generated from a target density function. The measure of goodness-of-fit is a divergence constructed via Stein's method using functions from a Reproducing Kernel Hilbert Space. Our test statistic is based on an empirical estimate of this divergence, taking the form of a V-statistic in terms of the log gradients of the target density and the kernel. We derive a statistical test, both for i.i.d. and non-i.i.d. samples, where we estimate the null distribution quantiles using a wild bootstrap procedure. We apply our test to quantifying convergence of approximate Markov Chain Monte Carlo methods, statistical model criticism, and evaluating quality of fit vs model complexity in nonparametric density estimation.

研究动机与目标

• 在 RKHS 框架内基于 Stein 方法开发一个非参数拟合优度检验。
• 通过使用核和对数目标密度梯度来避免依赖目标密度的积分。
• 提供一个实用的统计检验，具备通过自举校准阈值的能力，适用于独立和相关样本。
• 展示在近似 MCMC 收敛、模型批评和非参数密度估计中的应用。

提出的方法

• 在 RKHS 中定义 Stein 算子，并将 Stein 差异 S_p(Z) 表述为 E_q[ξ_p(Z)] 的 RKHS 范数的闭式形式。
• 通过对称核函数 h_p 表达该差异，并将 S_p^2(Z)=E_q[h_p(Z,Z')]，其中 Z' 与 Z 独立。
• 从样本 {Z_i} 构造对 S_p^2(Z) 的平方时间 V 统计量估计量 V_n。
• 使用野外自举来估计相关数据的原假设分布分位数并推导出实际可用的检验程序。
• 在温和条件下证明核的选择是普适的，确保能区分 p 与 q。
• 给出在 tau-混合条件下原假设分布和自举有效性的渐近结果。

实验结果

研究问题

• RQ1 基于核的 Stein 差异是否能区分目标分布 p 与观测分布 q 之间的任意差异？
• RQ2 如何可靠地估计针对 i.i.d. 与相关样本的 Stein 基检统计量的原假设分布？
• RQ3 所提出的检验是否适用于评估近似 MCMC 收敛、模型批评和非参数密度估计？
• RQ4 处理数据相关性的自举调参的实际指南是什么？

主要发现

• 检验统计量 S_p(Z) 由 E_q[ξ_p(Z)] 的 RKHS 范数给出，具有闭式表示的 h_p。
• 在某些条件下，S_p^2(Z)=E_q[h_p(Z,Z')]，且当核为 C_0-普适核时，该统计量可区分 p 与 q。
• 一种野外自举程序为独立样本和相关样本提供一致校准的 p 值。
• 该方法为近似 MCMC 的偏差-方差、GP 模型批评以及非参数密度估计器的收敛提供实际洞见。
• 该方法不需要从目标分布及其归一化常数进行采样。
• 用于复现的代码在作者的代码库中可用。