[论文解读] Low-rank variational Bayes correction to the Laplace method

Janet van Niekerk, Håvard Rue|arXiv (Cornell University)|Nov 25, 2021

Soil Geostatistics and Mapping被引用 4

一句话总结

本文提出低秩变分贝叶斯校正（Low-Rank Variational Bayes Correction, VBC），一种混合近似贝叶斯推断方法，通过在后验均值上施加低维变分贝叶斯校正来改进拉普拉斯近似。该方法在保持拉普拉斯方法计算效率的同时，显著提升了准确性，尤其适用于偏斜或重尾后验分布，在小样本和大样本数据集上均表现出色，优于马尔可夫链蒙特卡洛（MCMC）方法。

ABSTRACT

Approximate inference methods like the Laplace method, Laplace approximations and variational methods, amongst others, are popular methods when exact inference is not feasible due to the complexity of the model or the abundance of data. In this paper we propose a hybrid approximate method called Low-Rank Variational Bayes correction (VBC), that uses the Laplace method and subsequently a Variational Bayes correction in a lower dimension, to the joint posterior mean. The cost is essentially that of the Laplace method which ensures scalability of the method, in both model complexity and data size. Models with fixed and unknown hyperparameters are considered, for simulated and real examples, for small and large datasets.

研究动机与目标

• 为解决拉普拉斯方法在近似非高斯后验分布时的局限性，特别是当后验分布呈现偏斜或重尾特性时。
• 开发一种计算高效的MCMC和标准变分贝叶斯的替代方法，在保持可扩展性的同时提升后验近似精度。
• 通过在参数空间的低维子空间中应用低秩校正，将拉普拉斯方法的速度与变分推断的灵活性相结合。
• 在具有固定和未知超参数的模型中实现准确的后验推断，涵盖模拟数据和真实世界数据集。
• 提供一种可扩展的混合框架，通过在低维空间中使用变分推断来校正拉普拉斯近似的均值和协方差。

提出的方法

• 该方法首先使用拉普拉斯近似获得以众数为中心、曲率由后验对数密度的黑塞矩阵决定的高斯后验近似。
• 然后识别出后验与高斯性偏离最大的低维子空间（通常为黑塞矩阵的主导特征空间）。
• 在该低秩子空间中应用变分贝叶斯校正，使用灵活的分布族（例如位置-尺度族）来校正拉普拉斯近似的均值和协方差。
• 通过最小化校正近似与真实后验在低秩子空间上的Kullback-Leibler散度来优化校正。
• 通过将拉普拉斯近似与低秩VB校正相结合，构建完整的后验近似，同时保持计算效率。
• 该方法适用于具有固定和未知超参数的模型，且校正过程整合进联合后验估计流程中。

实验结果

研究问题

• RQ1 低秩变分校正是否能在不牺牲计算可扩展性的前提下，显著提升拉普拉斯近似的准确性？
• RQ2 与标准拉普拉斯方法或完整变分贝叶斯相比，VBC方法在纠正后验分布的偏斜和重尾行为方面效果如何？
• RQ3 该混合方法是否在小样本和大样本数据集（包括真实世界应用）上均保持高精度？
• RQ4 低秩结构在在多大程度上降低了计算成本，同时保持了后验的保真度？
• RQ5 在不同模型类别中，VBC方法与MCMC在精度和运行时间方面的表现如何比较？

主要发现

• 低秩VBC方法生成的后验近似显著优于标准拉普拉斯方法，尤其在捕捉偏斜和重尾特性方面。
• 该方法保持了拉普拉斯方法的计算成本，随模型复杂度和数据规模的增加仍能高效扩展，适用于大规模数据集。
• 在模拟数据和真实数据上，VBC方法生成的边缘后验分布与MCMC结果高度一致，表现出极高的保真度。
• 低秩校正通过聚焦于不确定性的主要模式，有效捕捉了后验中的非高斯特征，如黑塞矩阵子空间选择所示。
• 该方法在不确定性量化方面优于标准变分贝叶斯，避免了均值场近似中常见的方差低估问题。
• 该方法在具有固定和未知超参数的模型中均表现稳健，且代码已公开，便于复现。