[论文解读] A Linear-Time Kernel Goodness-of-Fit Test

Wittawat Jitkrittum, Wenkai Xu+3 more|arXiv (Cornell University)|May 22, 2017

Stochastic Gradient Optimization Techniques参考文献 23被引用 14

一句话总结

该论文提出了一种线性时间核拟合优度检验方法，通过斯坦因方法学习最优检验特征以最大化统计功效，避免了计算模型归一化常数的需要。该方法在保持与二次时间核检验相当性能的同时，实现了对模型-数据差异的可解释可视化，并在理论层面证明了其相对于先前线性时间检验的优越巴哈杜尔效率。

ABSTRACT

We propose a novel adaptive test of goodness-of-fit, with computational cost linear in the number of samples. We learn the test features that best indicate the differences between observed samples and a reference model, by minimizing the false negative rate. These features are constructed via Stein's method, meaning that it is not necessary to compute the normalising constant of the model. We analyse the asymptotic Bahadur efficiency of the new test, and prove that under a mean-shift alternative, our test always has greater relative efficiency than a previous linear-time kernel test, regardless of the choice of parameters for that test. In experiments, the performance of our method exceeds that of the earlier linear-time test, and matches or exceeds the power of a quadratic-time kernel test. In high dimensions and where model structure may be exploited, our goodness of fit test performs far better than a quadratic-time two-sample test based on the Maximum Mean Discrepancy, with samples drawn from the model.

研究动机与目标

• 开发一种计算高效的线性时间拟合优度检验，同时保持高统计功效。
• 通过最小化假阴性率来学习最大化检验功效的检验特征，而无需依赖模型的归一化常数。
• 实现对概率模型在何处未能拟合观测数据的可解释检测。
• 在理论上建立相对于先前线性时间核检验的更优渐近巴哈杜尔效率。
• 在高维和结构化模型设置下，超越两样本检验与二次时间核检验。

提出的方法

• 该检验利用斯坦因方法构造在模型 $p$ 下为零但对数据分布 $q$ 的偏离敏感的特征。
• 通过在 $q$ 下最大化斯坦因变换函数的经验期望，并施加平滑性约束，来学习最优检验特征。
• 通过数据的单次遍历计算检验统计量，时间复杂度为 $\mathcal{O}(n)$，避免了 $\mathcal{O}(n^2)$ 的U统计量开销。
• 该方法利用再生核希尔伯特空间（RKHS）定义检验特征的函数类，确保一致性与可解释性。
• 分析检验的原假设与备择假设分布，推导出用于特征选择的功率优化准则。
• 将该方法扩展至通过定位模型与数据显著偏离的特征，实现差异的可视化。

实验结果

研究问题

• RQ1 能否构建一种线性时间拟合优度检验，其功效可与二次时间核检验相媲美？
• RQ2 通过学习以最大化功效的检验特征，是否相比随机或固定特征能提升效率与可解释性？
• RQ3 在均值位移替代假设下，所提检验是否在渐近意义上比先前的线性时间核检验更高效？
• RQ4 在两样本检验失效的高维或结构化模型中，该方法能否检测到细微且局部的模型拟合偏差？
• RQ5 所学习的特征能否提供对模型-数据差异的可解释可视化？

主要发现

• 所提出的 FSSD-opt 检验在所有评估场景（包括高斯分布、拉普拉斯分布和RBM模型）中，其检验功效与二次时间KSD检验相当。
• 在具有结构化模型的高维设置下，FSSD-opt 检验显著优于两样本MMD与ME检验，后者即使在大样本量下也未能检测到细微差异。
• 在原假设下，该方法保持了正确的第一类错误率（约5%），证实特征优化未导致错误率膨胀。
• 对于均值位移替代假设，无论核带宽如何选择，所提检验的渐近巴哈杜尔效率均严格高于[22]中的线性时间检验。
• 所学习的检验特征可提供对模型拟合偏差的可解释可视化，例如在芝加哥抢劫数据中识别出2分量高斯混合模型未能捕捉的右尾偏差。
• 在大样本量下，FSSD-opt 的运行时间比KSD快一个数量级，使其可扩展至大规模数据集。