[论文解读] Efficient Bayesian Inference for a Gaussian Process Density Model

Christian Donner, Manfred Opper|arXiv (Cornell University)|May 29, 2018

Gaussian Processes and Bayesian Inference参考文献 12被引用 7

一句话总结

该论文通过引入潜在的Pólya–Gamma变量和带标记的泊松过程，提出了一种高效的贝叶斯推断框架，用于基于高斯过程的非参数密度模型，使似然函数与GP先验共轭。由此产生的模型支持精确的Gibbs采样，并结合稀疏GP技术实现了快速变分贝叶斯近似，与以往的MCMC方法相比，在包含数千个数据点的数据集上显著提升了可扩展性。

ABSTRACT

We reconsider a nonparametric density model based on Gaussian processes. By augmenting the model with latent Pólya--Gamma random variables and a latent marked Poisson process we obtain a new likelihood which is conjugate to the model's Gaussian process prior. The augmented posterior allows for efficient inference by Gibbs sampling and an approximate variational mean field approach. For the latter we utilise sparse GP approximations to tackle the infinite dimensionality of the problem. The performance of both algorithms and comparisons with other density estimators are demonstrated on artificial and real datasets with up to several thousand data points.

研究动机与目标

• 解决由于非共轭似然函数和无限维函数空间导致的非参数高斯过程密度模型中贝叶斯推断效率低下的问题。
• 通过潜在变量扩展引入共轭似然结构，克服标准MCMC方法（如Metropolis–Hastings）的计算不可行性。
• 开发可扩展的推断算法——特别是Gibbs采样和变分贝叶斯方法——在保持非参数灵活性的同时处理大规模数据集。
• 通过将GP模型与学习得到的基测度（如GMM）结合，降低有效维度，提升高维数据上的性能表现。
• 使GP密度模型在包含数千个数据点的真实世界数据集上具备实际应用可行性，而此前的方法过于缓慢或不可行。

提出的方法

• 通过引入潜在的Pólya–Gamma随机变量，将S型链接函数表示为无限高斯混合，将非共轭似然转化为共轭形式，以增强GP密度模型。
• 引入潜在的带标记泊松过程，以表示似然中的归一化积分，实现对全函数空间的精确边际化。
• 推导出利用扩展模型共轭性的Gibbs采样器，实现对GP和辅助变量后验分布的高效采样。
• 利用稀疏GP方法开发变分贝叶斯近似，以处理GP先验的无限维性质，将计算成本降低至与数据规模线性相关。
• 利用重要性采样结合学习得到的基测度（如GMM）来近似似然中的高维积分，提升高维设置下的准确性。
• 将GP模型与预先拟合的GMM作为基测度π(x)结合，以降低有效维度，并提升在子流形结构数据上的性能。

实验结果

研究问题

• RQ1 通过引入辅助潜在变量实现共轭性，能否使非参数GP密度模型中的贝叶斯推断变得可行？
• RQ2 如何将基于GP的密度估计扩展到包含数千个数据点的数据集，以避免标准MCMC方法计算上不可行？
• RQ3 在高维数据中，使用学习得到的基测度（如GMM）在多大程度上能提升GP密度估计的性能和稳定性？
• RQ4 在真实和人工数据集上，所提出的Gibbs采样器与变分贝叶斯近似在准确性和计算效率方面如何比较？
• RQ5 该方法在高维设置下的局限性是什么？是否可以通过与其他密度估计器结合用于基测度来缓解这些局限性？

主要发现

• 通过Pólya–Gamma变量实现的共轭扩展，使GP密度模型能够进行精确的Gibbs采样，克服了标准MCMC方法因非共轭性而受阻的问题。
• 结合稀疏GP近似的变分贝叶斯近似实现了与数据规模线性相关的计算复杂度，成功处理了多达6,000个数据点的数据集，在计算效率上优于MCMC方法。
• 在'Forest Fire'、'Thyroid'和'Wine'数据集上，将GP模型与GMM作为基测度结合后，测试对数似然平均分别提升了8.9%、4.1%和1.1%。
• 由于Gibbs采样器的立方级计算复杂度，对于包含数百个数据点的问题已不切实际，而变分贝叶斯方法在更大数据集上仍具可行性。
• 当基测度π(x)与数据内在的低维结构相适应时，该方法在性能上显著优于KDE和基线GMM。
• 基于GMM的基测度进行重要性采样仅在近似误差较低时（std(I) < 10⁻² × I）能获得稳定结果，近似效果差的样本在评估中被舍弃。