[论文解读] Gaussian Process Regression with a Student-t Likelihood

Pasi Jylänki, Jarno Vanhatalo+1 more|arXiv (Cornell University)|Jun 22, 2011

Gaussian Processes and Bayesian Inference参考文献 24被引用 14

一句话总结

本文提出了一种鲁棒且高效的高斯过程回归实现方法，采用学生t分布似然以处理异常值，通过改进的期望传播（EP）算法结合并行更新与自适应步长，解决了非对数凹模型中常见的收敛性问题。该方法在预测性能上优于拉普拉斯近似、变分贝叶斯和马尔可夫链蒙特卡洛（MCMC）近似，尤其在后验分布呈多模态的情况下表现更优。

ABSTRACT

This paper considers the robust and efficient implementation of Gaussian process regression with a Student-t observation model. The challenge with the Student-t model is the analytically intractable inference which is why several approximative methods have been proposed. The expectation propagation (EP) has been found to be a very accurate method in many empirical studies but the convergence of the EP is known to be problematic with models containing non-log-concave site functions such as the Student-t distribution. In this paper we illustrate the situations where the standard EP fails to converge and review different modifications and alternative algorithms for improving the convergence. We demonstrate that convergence problems may occur during the type-II maximum a posteriori (MAP) estimation of the hyperparameters and show that the standard EP may not converge in the MAP values in some difficult cases. We present a robust implementation which relies primarily on parallel EP updates and utilizes a moment-matching-based double-loop algorithm with adaptively selected step size in difficult cases. The predictive performance of the EP is compared to the Laplace, variational Bayes, and Markov chain Monte Carlo approximations.

研究动机与目标

• 解决在高斯过程回归中应用学生t分布似然时，期望传播（EP）算法因非对数凹性而导致的收敛性问题，从而引发不稳定的推断。
• 开发一种鲁棒、可扩展且可靠的EP实现方法，用于高斯过程回归中的学生t分布似然，尤其适用于存在冲突异常值或后验分布多模态的情况。
• 在具有挑战性的回归场景中，将所提出的EP方法与拉普拉斯近似、变分贝叶斯和MCMC等成熟近似方法进行预测性能比较。
• 提供实用的指导原则与算法增强措施——如阻尼、分数更新和双层循环迭代——以实现在实际应用中稳定推断。

提出的方法

• 该方法利用学生t分布的尺度混合表示，以支持在高斯过程回归中进行近似贝叶斯推断。
• 实现了一种具有自适应步长选择和基于矩匹配的双层循环更新的并行EP算法，以增强在困难情况下的收敛性。
• 通过类型-II最大后验概率（MAP）估计实现超参数优化，并在优化过程中对非收敛的EP更新进行仔细处理。
• 在标准EP无法收敛时，引入阻尼和分数更新作为备用策略，尤其在后验分布呈多模态的区域表现更优。
• 通过空 cavity 分布分析检测不可靠的近似结果，提示潜在的模型不拟合或高不确定性区域。
• 该实现已集成至GPstuff软件包中，供公众使用，确保可复现性与可及性。

实验结果

研究问题

• RQ1 在何种条件下，标准期望传播算法在应用于高斯过程回归与学生t分布似然时会无法收敛？
• RQ2 当存在非对数凹的站点函数（如重尾学生t分布产生的函数）时，如何改进EP的收敛性？
• RQ3 与拉普拉斯近似、变分贝叶斯和MCMC近似相比，改进后的EP方法在鲁棒高斯过程回归中的预测性能如何？
• RQ4 学生t分布中的自由度ν的选择如何影响模型的鲁棒性与推断稳定性？
• RQ5 所提出的EP实现能否可靠检测到异常推断情形，如多模态后验分布或高不确定性区域？

主要发现

• 在高斯过程回归中使用学生t分布似然时，标准EP算法在进行类型-II MAP估计超参数的过程中，频繁出现无法收敛的情况，尤其当异常值相距较远时更为明显。
• 所提出的鲁棒EP实现，结合并行更新、自适应步长和双层循环迭代，在所有测试案例中均成功实现收敛，包括后验分布多模态的情况。
• 改进后的EP方法在预测性能上优于拉普拉斯近似与变分贝叶斯近似，尤其在存在冲突异常值的场景中表现更优。
• 该方法提供了可靠的不确定性估计，避免了拉普拉斯与变分贝叶斯方法中可能出现的虚假确定性，并通过空 cavity 分布分析提示潜在的模型问题。
• 将ν固定为4可提供一个稳定的基线模型，而通过网格搜索估计ν可进一步提升鲁棒性，且在所提出的EP框架下可一致地估计该参数。
• 算法增强措施——如阻尼、分数更新和双层循环迭代——具有通用性，对其他非对数凹似然在高斯过程模型中的应用也具有有效性和可推广性。