[论文解读] Correcting the Laplace Method with Variational Bayes

Janet van Niekerk, Håvard Rue|arXiv (Cornell University)|Nov 25, 2021

Gaussian Processes and Bayesian Inference参考文献 41被引用 9

一句话总结

本文提出低秩变分贝叶斯校正（VBC），一种可扩展的混合方法，通过在后验均值上应用低秩变分贝叶斯校正来改进拉普拉斯近似。该方法利用拉普拉斯方法的计算效率，并通过变分推理进行优化，以极低的额外开销显著提升后验均值的准确性，在小规模和大规模的模拟数据与真实数据集上均表现出色。

ABSTRACT

Approximate inference methods like the Laplace method, Laplace approximations and variational methods, amongst others, are popular methods when exact inference is not feasible due to the complexity of the model or the abundance of data. In this paper we propose a hybrid approximate method namely Low-Rank Variational Bayes correction (VBC), that uses the Laplace method and subsequently a Variational Bayes correction to the posterior mean. The cost is essentially that of the Laplace method which ensures scalability of the method. We illustrate the method and its advantages with simulated and real data, on small and large scale.

研究动机与目标

• 解决在精确推断不可行的复杂模型中，拉普拉斯近似不准确的问题。
• 开发一种计算高效的算法，对拉普拉斯近似的后验均值进行校正，而不会带来过高的计算开销。
• 通过低秩校正框架，结合拉普拉斯方法的可扩展性与变分推理的更高精度。
• 在小规模模拟数据和大规模真实数据集上评估该方法的性能。

提出的方法

• 该方法首先使用拉普拉斯近似获得初始的后验均值和协方差估计。
• 应用低秩变分贝叶斯校正以优化后验均值，重点修正均值估计中的偏差。
• 校正过程采用结构化的低秩参数化方式，在保持计算效率的同时提升精度。
• 该方法保持了拉普拉斯方法的计算成本，因此可扩展至大规模数据集。
• 该方法通过在约束的低秩分解下使用变分推理实现，其中校正项采用低秩因子分解。

实验结果

研究问题

• RQ1 低秩变分贝叶斯校正是否能有效提升拉普拉斯近似的后验均值准确性？
• RQ2 该混合方法是否在保持拉普拉斯方法可扩展性的同时，实现更优的后验估计？
• RQ3 与标准拉普拉斯方法和变分推理方法相比，VBC方法在真实数据集上的表现如何？
• RQ4 低秩结构对精度与计算成本之间的权衡有何影响？

主要发现

• VBC方法在模拟数据和真实数据集上均显著提升了后验均值的准确性，优于标准拉普拉斯近似。
• 该方法保持了拉普拉斯方法的计算效率，使其能够扩展至大规模问题。
• 低秩校正有效减少了后验均值中的偏差，且未显著增加计算成本。
• 在真实数据上的实证结果表明，VBC在后验估计精度方面优于基线方法。