[论文解读] A Kernel Stein Test for Comparing Latent Variable Models

Heishiro Kanagawa, Wittawat Jitkrittum+3 more|arXiv (Cornell University)|Jul 1, 2019

Statistical Methods and Bayesian Inference参考文献 60被引用 7

一句话总结

该论文提出了一种核Stein检验（LKSD），用于比较具有不可计算边缘似然的隐变量模型，利用Stein方法和核化差异，实现无需归一化常数的非参数、基于样本的模型比较。该方法在控制第一类错误率方面表现良好，并在高维、低隐变量维数的设置下显著优于相对MMD检验。

ABSTRACT

We propose a kernel-based nonparametric test of relative goodness of fit, where the goal is to compare two models, both of which may have unobserved latent variables, such that the marginal distribution of the observed variables is intractable. The proposed test generalizes the recently proposed kernel Stein discrepancy (KSD) tests (Liu et al., 2016, Chwialkowski et al., 2016, Yang et al., 2018) to the case of latent variable models, a much more general class than the fully observed models treated previously. The new test, with a properly calibrated threshold, has a well-controlled type-I error. In the case of certain models with low-dimensional latent structure and high-dimensional observations, our test significantly outperforms the relative Maximum Mean Discrepancy test, which is based on samples from the models and does not exploit the latent structure.

研究动机与目标

• 开发一种非参数、基于样本的检验方法，用于比较边缘似然不可计算的隐变量模型。
• 将核Stein差异（KSD）扩展至具有未观测隐变量的模型，推广先前针对完全可观测模型的工作。
• 通过测试阈值的恰当校准，确保第一类错误率得到良好控制。
• 通过利用隐变量结构，在高维、低隐变量维数的设置下，优于现有方法（如相对MMD）的统计功效。
• 为边缘密度不可计算时提供一种实用且计算高效的似然比检验替代方法。

提出的方法

• 该方法通过构建不依赖归一化常数的模型特异性Stein算子，将核Stein差异（KSD）适配于隐变量模型。
• 基于两个竞争模型的样本与参考数据集之间的差异，利用来自Stein变换的再生核希尔伯特空间的见证函数，构造检验统计量。
• 评估了三种方差估计器：自助法（jackknife）、U-统计量和V-统计量，其中自助法与V-统计量表现出更好的稳健性和第一类错误控制。
• 通过渐近正态性推导的阈值对检验统计量进行校准，确保在原假设下第一类错误率得到良好控制。
• 该方法利用了在真实模型下Stein算子的期望为零的性质，使差异减少为仅依赖于样本的项。
• 该方法应用于概率主成分分析（PPCA）和隐狄利克雷分配（LDA）模型，在具有不同扰动参数的合成数据上展示了性能。

实验结果

研究问题

• RQ1 能否将核Stein检验推广至比较具有不可计算边缘分布的隐变量模型？
• RQ2 与现有方法（如相对MMD）相比，所提出的LKSD检验在第一类错误率控制方面表现如何？
• RQ3 在实际应用中，哪种方差估计器——自助法、U-统计量或V-统计量——能提供最可靠的第二类错误率控制？
• RQ4 在高维模型中利用隐变量结构是否能提升统计功效，相比基于样本的MMD检验？
• RQ5 当被比较的两个模型相同时，检验行为如何变化，此时渐近正态性假设被违反？

主要发现

• 使用自助法与V-统计量方差估计器的LKSD检验，即使在模型变得越来越相似时，仍能将第一类错误率保持在接近名义水平α=0.05。
• U-统计量方差估计器系统性地低估真实方差，导致第一类错误率升高，且偶尔返回负值，作者建议避免使用。
• 在PPCA与LDA实验中，当隐变量结构为低维而观测为高维时，LKSD检验在检测差异方面显著优于相对MMD检验。
• 当模型相同时，自助法与V-统计量的LKSD检验仍保持保守，拒绝原假设的频率远低于α=0.05，尽管理论假设被违反。
• LKSD检验在原假设与备择假设情形下均表现出稳健性和可靠性，尤其在利用隐变量结构时。
• 所提方法无需计算边缘似然，即可实现有效且校准良好的模型比较，适用于复杂的隐变量模型。