[论文解读] Kernelized Complete Conditional Stein Discrepancy

Raghav Singhal, Han, Xintian+2 more|arXiv (Cornell University)|Apr 9, 2019

Mathematical Approximation and Integration参考文献 30被引用 5

一句话总结

本文提出了核化完整条件斯皮尔曼距离（kcc-sd），一种新颖的差异度量方法，通过利用单变量完整条件来提升高维空间中的分布比较性能。通过分别对源自完整条件的单变量检验函数计算上确界，kcc-sd 在拟合优度检验和 MCMC 样本质量评估中展现出高于核化斯皮尔曼距离（ksd）和基线方法的统计功效，尤其在具有相关性或重尾分布的高维设置下表现更优。

ABSTRACT

Much of machine learning relies on comparing distributions with discrepancy measures. Stein's method creates discrepancy measures between two distributions that require only the unnormalized density of one and samples from the other. Stein discrepancies can be combined with kernels to define kernelized Stein discrepancies (KSDs). While kernels make Stein discrepancies tractable, they pose several challenges in high dimensions. We introduce kernelized complete conditional Stein discrepancies (KCC-SDs). Complete conditionals turn a multivariate distribution into multiple univariate distributions. We show that KCC-SDs distinguish distributions. To show the efficacy of KCC-SDs in distinguishing distributions, we introduce a goodness-of-fit test using KCC-SDs. We empirically show that KCC-SDs have higher power over baselines and use KCC-SDs to assess sample quality in Markov chain Monte Carlo.

研究动机与目标

• 为解决核化斯皮尔曼距离（ksd）在高维设置下因核退化而导致的性能低下问题。
• 开发一种差异度量方法，即使在多变量核于高维下失效时，也能区分不同分布。
• 通过一种可计算且可扩展的差异度量方法，实现有效的拟合优度检验和 MCMC 收敛性评估。
• 提出该差异度量的近似变体，利用学习得到的完整条件采样器，实现实际部署。

提出的方法

• 该方法将多变量分布分解为单变量完整条件，从而使用单变量核而非多变量核。
• 为每个完整条件定义核化斯皮尔曼距离，通过再生核希尔伯特空间（RKHS）中检验函数的独立上确界进行计算。
• 通过斯皮尔曼方法构建完整条件差异度量，将核化算子应用于单变量条件密度。
• 推导出 kcc-sd 的闭式表达式，实现高效计算，且无需显式从全条件分布中采样。
• 提出一种近似 kcc-sd，利用学习到的条件密度估计器（如归一化流）从 q 的完整条件中采样。
• 该方法可集成至现有的拟合优度检验框架中，使用 kcc-sd 作为检验统计量以检测分布不匹配。

实验结果

研究问题

• RQ1 基于单变量完整条件的差异度量是否在高维分布比较中优于多变量核化斯皮尔曼距离？
• RQ2 kcc-sd 是否仅在 p ≡ q 时具有零差异度？
• RQ3 在 ksd 和 fssd 性能下降的高维设置下，kcc-sd 是否能保持高统计功效？
• RQ4 当使用学习到的采样器表示完整条件时，近似 kcc-sd 是否仍能保持功效？
• RQ5 kcc-sd 是否能有效检测 Gibbs 采样器和有偏 MCMC 采样器中的收敛性问题？

主要发现

• 在比较多元正态分布与拉普拉斯倾斜分布时，kcc-sd 在高维拟合优度检验中（d=100）保持功效为 1，而 ksd 和 fssd 的功效逐渐下降。
• 在 1000 个样本下，kcc-sd 所需样本量低于 ksd、rΦsd 和 fssd-opt 即可达到功效 1，表明其具有更高的统计效率。
• 在具有拉普拉斯噪声的相关高斯模型中，随着维度增加，kcc-sd 保持功效为 1，而基线方法则失去功效。
• 近似 kcc-sd 变体在高维下与精确 kcc-sd 相比功效无显著损失，验证了其实际可行性。
• kcc-sd 能检测 Metropolis-within-Gibbs 采样器中的偏差：kcc-sd 随接受概率中偏差项的增大而单调递增。
• kcc-sd 在贝叶斯矩阵分解的 Gibbs 采样器中成功识别出收敛性问题，更高的 kcc-sd 值表明混合性更差或存在偏差。