[论文解读] Marginalised Gaussian Processes with Nested Sampling

Fergus Simpson, Vidhi Lalchand+1 more|arXiv (Cornell University)|Oct 30, 2020

Gaussian Processes and Bayesian Inference参考文献 30被引用 4

一句话总结

本文提出使用嵌套采样法对高斯过程中的核超参数进行边缘化，以解决最大似然II类（ML-II）优化方法常导致预测过于自信及陷入局部极小值的局限性。通过从超参数的完整后验分布中采样，特别是在谱混合核常见的多峰似然景观中，嵌套采样能生成更稳健、更可靠的预测区间，其不确定性量化表现优于ML-II和哈密顿蒙特卡洛（HMC）。

ABSTRACT

Gaussian Process (GPs) models are a rich distribution over functions with inductive biases controlled by a kernel function. Learning occurs through the optimisation of kernel hyperparameters using the marginal likelihood as the objective. This classical approach known as Type-II maximum likelihood (ML-II) yields point estimates of the hyperparameters, and continues to be the default method for training GPs. However, this approach risks underestimating predictive uncertainty and is prone to overfitting especially when there are many hyperparameters. Furthermore, gradient based optimisation makes ML-II point estimates highly susceptible to the presence of local minima. This work presents an alternative learning procedure where the hyperparameters of the kernel function are marginalised using Nested Sampling (NS), a technique that is well suited to sample from complex, multi-modal distributions. We focus on regression tasks with the spectral mixture (SM) class of kernels and find that a principled approach to quantifying model uncertainty leads to substantial gains in predictive performance across a range of synthetic and benchmark data sets. In this context, nested sampling is also found to offer a speed advantage over Hamiltonian Monte Carlo (HMC), widely considered to be the gold-standard in MCMC based inference.

研究动机与目标

• 通过合理考虑超参数不确定性，解决标准ML-II训练高斯过程中存在的过度自信与陷入局部极小值的问题。
• 评估嵌套采样作为高斯过程超参数后验分布中多峰情形下稳健推理方法的有效性。
• 证明对超参数进行边缘化可产生更可靠、更稳健的预测区间，尤其在高维或噪声较大的数据场景中。
• 为高斯过程核学习提供一种有原则的替代方案，取代点估计，尤其适用于谱混合等具有复杂似然几何结构的表达性核函数。

提出的方法

• 本文采用嵌套采样法探索高斯过程超参数的后验分布，避免依赖基于梯度的优化方法。
• 使用谱混合核作为灵活且表达能力强的协方差函数，通过谱密度重参数化实现对复杂模式的建模。
• 通过嵌套采样对超参数进行积分，生成一组‘活跃点’，以探索边际似然曲面中的多个模式。
• 通过在超参数的完整后验分布上进行平均实现预测，从而获得更稳健的预测分布。
• 在时间序列和二维回归任务上，将该方法与哈密顿蒙特卡洛（HMC）和ML-II优化方法进行对比，所有实验均在单张GPU上完成。
• 为谱混合核超参数提出一种自定义先验，以提升采样效率与后验探索能力。

实验结果

研究问题

• RQ1 在谱混合等复杂核结构存在的情况下，嵌套采样能否有效从高斯过程超参数的多峰后验分布中采样？
• RQ2 与ML-II和HMC相比，使用嵌套采样对超参数进行边缘化在预测不确定性与区间质量方面表现如何？
• RQ3 在时间序列与回归任务中，考虑超参数不确定性是否能带来更可靠、更稳健的预测区间？
• RQ4 与传统的ML-II或HMC相比，使用嵌套采样进行高斯过程推理在计算开销上存在何种权衡？

主要发现

• 与倾向于因超参数点估计而过度自信的ML-II相比，嵌套采样生成的预测区间更宽且更可靠。
• 该方法成功探索了边际似然曲面中的多个模式，尤其在具有复杂多峰几何结构的谱混合核模型中表现显著。
• 尽管采样的是更复杂的后验分布，嵌套采样相比ML-II并未显著变慢，且在时间序列基准测试中仅比HMC慢约2倍。
• 在噪声较大或数据稀疏的场景中，采用嵌套采样进行边缘化处理的高斯过程预测性能优于标准ML-II方法。
• 实验表明，尽管采样自同一后验分布，HMC的运行速度比嵌套采样慢约两倍。
• 结果表明，对超参数进行完整边缘化可显著提升模型鲁棒性，降低对局部极小值和过拟合的敏感性。