[论文解读] Laplace approximation for logistic Gaussian process density estimation

Jaakko Riihimäki, Aki Vehtari|arXiv (Cornell University)|Nov 1, 2012

Gaussian Processes and Bayesian Inference被引用 2

一句话总结

本文提出了一种拉普拉斯近似方法，用于对数高斯过程（LGP）密度估计中的贝叶斯推断，实现了在1D和2D网格上的快速且准确的密度估计。通过将拉普拉斯方法与类型-II MAP估计协方差参数相结合，并对2D网格采用低秩近似，该方法在性能上接近MCMC和最先进的混合模型，支持交互式可视化。

ABSTRACT

Logistic Gaussian process (LGP) priors provide a flexible alternative for modelling unknown densities. The smoothness properties of the density estimates can be controlled through the prior covariance structure of the LGP, but the challenge is the analytically intractable inference. In this paper, we present approximate Bayesian inference for LGP density estimation in a grid using Laplace's method to integrate over the non-Gaussian posterior distribution of latent function values and to determine the covariance function parameters with type-II maximum a posteriori (MAP) estimation. We demonstrate that Laplace's method with MAP is sufficiently fast for practical interactive visualisation of 1D and 2D densities. Our experiments with simulated and real 1D data sets show that the estimation accuracy is close to a Markov chain Monte Carlo approximation and state-of-the-art hierarchical infinite Gaussian mixture models. We also construct a reduced-rank approximation to speed up the computations for dense 2D grids, and demonstrate density regression with the proposed Laplace approach.

研究动机与目标

• 解决由于后验分布非高斯性导致的逻辑高斯过程（LGP）密度估计中难以处理的推断问题。
• 通过高效的近似贝叶斯推断，实现在1D和2D密度估计上的实用化、实时可视化。
• 通过LGP模型中灵活的先验协方差结构，控制密度估计的平滑度。
• 开发一种低秩近似方法，以在不损失精度的前提下加速密集2D网格上的计算。

提出的方法

• 应用拉普拉斯方法，对LGP模型中难以处理的潜在函数值后验分布进行近似。
• 使用类型-II最大后验概率（MAP）估计法学习协方差函数的超参数。
• 构建协方差矩阵的低秩近似，以加速密集2D网格上的计算。
• 将拉普拉斯近似与密度回归相结合，以实现灵活的非参数密度估计。
• 采用基于网格的离散化方法表示未知密度函数，并在潜在对数密度值上施加LGP先验。
• 利用拉普拉斯近似的高效性，支持估计密度的交互式可视化。

实验结果

研究问题

• RQ1 拉普拉斯近似能否为LGP密度估计提供一种计算高效且精度可接受的替代MCMC的方法？
• RQ2 与最先进的分层无限高斯混合模型相比，采用MAP估计超参数的拉普拉斯近似性能如何？
• RQ3 低秩近似在加速密集2D网格上的推断时，能在多大程度上保持精度？
• RQ4 所提出的方法在实际中能否支持1D和2D密度估计的交互式可视化？

主要发现

• 结合MAP估计的拉普拉斯近似在模拟和真实1D数据集上，其估计精度与马尔可夫链蒙特卡洛（MCMC）方法相当。
• 该方法在密度估计任务中与最先进的分层无限高斯混合模型相比，表现具有竞争力。
• 低秩近似显著加速了密集2D网格上的计算，同时保持了估计质量。
• 由于计算效率高，该方法实现了1D和2D密度估计的实际、实时交互式可视化。
• 该方法成功支持了基于拉普拉斯近似后验的密度回归，展示了在非参数密度建模中的灵活性。