[论文解读] Linear Response Methods for Accurate Covariance Estimates from Mean Field Variational Bayes

Ryan Giordano, Tamara Broderick+1 more|arXiv (Cornell University)|Jun 12, 2015

Probabilistic and Robust Engineering Design参考文献 24被引用 33

一句话总结

本文提出线性响应变分贝叶斯（LRVB），一种通过统计物理中的线性响应理论，对平均场变分贝叶斯（MFVB）进行校正的方法，可解析估计准确的后验协方差。当MFVB后验属于指数族时，LRVB通过在MFVB解上求解一个线性系统，实现简单且可扩展的校正，其不确定性估计几乎与MCMC相当，但速度高出数个数量级。

ABSTRACT

Mean field variational Bayes (MFVB) is a popular posterior approximation method due to its fast runtime on large-scale data sets. However, it is well known that a major failing of MFVB is that it underestimates the uncertainty of model variables (sometimes severely) and provides no information about model variable covariance. We generalize linear response methods from statistical physics to deliver accurate uncertainty estimates for model variables---both for individual variables and coherently across variables. We call our method linear response variational Bayes (LRVB). When the MFVB posterior approximation is in the exponential family, LRVB has a simple, analytic form, even for non-conjugate models. Indeed, we make no assumptions about the form of the true posterior. We demonstrate the accuracy and scalability of our method on a range of models for both simulated and real data.

研究动机与目标

• 解决平均场变分贝叶斯（MFVB）在后验方差估计中普遍存在的低估问题，以及忽略变量间协方差的问题。
• 开发一种通用且计算高效的不确定性量化方法，适用于大规模贝叶斯模型。
• 将线性响应方法从统计物理推广至指数族变分后验，无需假设共轭性或特定后验形式。
• 证明该方法在协方差估计上可达到与MCMC相当的精度，同时保持MFVB的计算速度。
• 提供一个实用且开源的实现，便于在真实世界贝叶斯推断中广泛采用。

提出的方法

• LRVB将统计物理中的线性响应理论推广，用于推导对MFVB后验近似的校正。
• 将协方差校正形式化为基于MFVB固定点解和变分目标函数黑塞矩阵的线性系统求解。
• 该方法适用于指数族中的MFVB后验，可实现无需真实后验知识的解析、闭式校正。
• 通过利用黑塞矩阵的稀疏性，确保在大规模数据集和高维参数空间中的可扩展性。
• 通过扰动MFVB固定点来计算校正，能够同时捕捉边际方差和一致估计的变量间协方差。
• 该方法通过代码套件实现，并应用于多种模型，包括高斯混合模型和MNIST数字聚类。

实验结果

研究问题

• RQ1 线性响应理论能否被适配，用于在非共轭模型中为平均场变分贝叶斯提供准确且解析的协方差校正？
• RQ2 LRVB的不确定性估计精度在真实和模拟数据中与马尔可夫链蒙特卡洛（MCMC）相比如何？
• RQ3 LRVB在不同模型规模和数据维度下的计算复杂度相对于MFVB和MCMC如何？
• RQ4 LRVB能否在具有挑战性的模型（如有限高斯混合模型）中可靠地校正MFVB系统性低估后验方差的问题？
• RQ5 LRVB在多大程度上能保持速度优势，同时实现与MCMC相当的不确定性量化精度？

主要发现

• LRVB生成的协方差估计几乎与MCMC完全一致，即使MFVB将方差低估了数个数量级。
• 在有限高斯混合模型上，LRVB实现的协方差估计精度比MCMC快逾100倍，且在数据规模上呈线性增长，在参数维度上呈立方增长。
• 在MNIST数字聚类任务中，LRVB在25维子空间上实现了准确的不确定性量化，测试错误率为8%，证明了其在真实世界数据中的可行性。
• 该方法的计算效率源于对黑塞矩阵稀疏性的利用，使其能够在大规模数据集上实现可扩展推断。
• LRVB的解析校正公式简洁明了，可直接从MFVB解中计算得出，无需额外采样或迭代优化。
• 该方法无需对真实后验形式做任何假设，因此可广泛应用于共轭模型之外的场景。