[论文解读] A Kernelized Stein Discrepancy for Goodness-of-fit Tests and Model Evaluation

Qiang Liu, Jason D. Lee+1 more|arXiv (Cornell University)|Feb 10, 2016

Statistical Distribution Estimation and Applications参考文献 30被引用 14

一句话总结

本文提出了一种核化Stein散度（KSD），用于在具有不可计算归一化常数的复杂高维模型中进行似然-free拟合优度检验。通过结合Stein恒等式与再生核希尔伯特空间（RKHS）理论，该方法仅依赖于模型的得分函数，即可实现基于U统计量的高效经验估计，从而在无需计算似然函数的情况下，获得强大且计算上可行的检验方法。

ABSTRACT

We derive a new discrepancy statistic for measuring differences between two probability distributions based on combining Stein's identity with the reproducing kernel Hilbert space theory. We apply our result to test how well a probabilistic model fits a set of observations, and derive a new class of powerful goodness-of-fit tests that are widely applicable for complex and high dimensional distributions, even for those with computationally intractable normalization constants. Both theoretical and empirical properties of our methods are studied thoroughly.

研究动机与目标

• 开发一种在似然函数不可计算时仍计算可行的拟合优度检验差异度量。
• 实现在高维和复杂概率模型（如深度生成模型和图模型）中的模型评估。
• 提供一种具有校准统计显著性的检验方法，避免依赖似然函数或累积分布函数的比较。
• 确保方法仅依赖于得分函数，而得分函数与归一化常数无关。
• 为传统检验（如卡方检验或Kolmogorov-Smirnov检验）在似然函数不可计算的场景下，提供一种通用且可扩展的替代方案。

提出的方法

• 通过将检验函数空间限制在RKHS球内，提出一种核化Stein散度（KSD），从而实现可计算的计算。
• 推导出差异度量的显式形式，表示为i.i.d.样本上的期望：$\hat{\mathbb{S}}(p,q) = \frac{1}{n(n-1)}\sum_{i \neq j} u_q(x_i, x_j)$，其中$u_q$仅依赖于得分函数$\nabla_x \log q(x)$。
• 采用U统计量来估计差异度量，从而可获得良好表征的抽样分布，并支持有效的假设检验。
• 使用得分函数$\mathbf{s}_q = \nabla_x \log q(x)$，避免对归一化常数的依赖，使方法可应用于未归一化的模型。
• 通过检验$\mathbb{E}_p[u_q(x,x')] = 0$来检验$H_0: p = q$，利用U统计量的渐近理论。
• 引入变体，包括KSD-linear（$O(n)$复杂度）和KSD-U（更高统计功效），并采用分块平均作为复杂度的权衡策略。

实验结果

研究问题

• RQ1 能否构建一种既计算可行又在高维未归一化模型中具有强大检验力的差异度量？
• RQ2 仅依赖得分函数（而不依赖归一化常数）是否足以实现有效的拟合优度检验？
• RQ3 在似然函数不可计算的场景下，所提出的基于KSD的检验与MMD和似然比检验相比，其检验功效如何？
• RQ4 当似然函数在计算上不可行时，该方法能否保持统计显著性和检验功效？
• RQ5 与现有方法（如MMD和基于MCMC的近似）相比，KSD在理论和实证性能上表现如何？

主要发现

• 在高维Gaussian-Bernoulli RBM中，KSD-U在检测偏离时优于MMD-MC(1000)和MMD-MCMC，尤其当MCMC样本不具代表性时表现更优。
• KSD-linear的性能弱于KSD-U，但提供了计算高效的$O(n)$替代方案，适用于大规模模型。
• 最优似然比检验达到最佳功效，证实尽管未使用完整似然函数，KSD-U仍具有竞争力。
• 在RBM实验中，MMD-MCMC无法区分$ p = q $与$ p \neq q $，表明其在MCMC样本不准确时性能较差。
• 在原假设下（$p=q$）的差异度量始终低于备择假设下（$p \neq q$）的值，验证了该方法检测模型拟合不足的能力。
• 该方法通过U统计量理论实现了有效的假设检验，$\hat{\mathbb{S}}(p,q)$的抽样分布具有良好的表征。