[论文解读] Covariances, Robustness, and Variational Bayes

Ryan Giordano, Tamara Broderick+1 more|arXiv (Cornell University)|Sep 8, 2017

Statistical Methods and Bayesian Inference参考文献 42被引用 57

一句话总结

该论文推导线性响应变分贝叶斯（LRVB）协方差，以通过利用 MFVB 后验对无穷小扰动的敏感性来改进 MFVB 不确定性估计，显示出相对于 MCMC 快速且准确的协方差。

ABSTRACT

Mean-field Variational Bayes (MFVB) is an approximate Bayesian posterior inference technique that is increasingly popular due to its fast runtimes on large-scale datasets. However, even when MFVB provides accurate posterior means for certain parameters, it often mis-estimates variances and covariances. Furthermore, prior robustness measures have remained undeveloped for MFVB. By deriving a simple formula for the effect of infinitesimal model perturbations on MFVB posterior means, we provide both improved covariance estimates and local robustness measures for MFVB, thus greatly expanding the practical usefulness of MFVB posterior approximations. The estimates for MFVB posterior covariances rely on a result from the classical Bayesian robustness literature relating derivatives of posterior expectations to posterior covariances and include the Laplace approximation as a special case. Our key condition is that the MFVB approximation provides good estimates of a select subset of posterior means---an assumption that has been shown to hold in many practical settings. In our experiments, we demonstrate that our methods are simple, general, and fast, providing accurate posterior uncertainty estimates and robustness measures with runtimes that can be an order of magnitude faster than MCMC.

研究动机与目标

• 激发在均值场变分贝叶斯（MFVB）中改进后验不确定性估计的需求。
• 开发基于敏感性的框架，利用扰动理论估计 MFVB 后验协方差。
• 将贝叶斯鲁棒性概念与变分贝叶斯相结合，以获得局部鲁棒性量度。
• 证明在多种情形下，LRVB 协方差计算快速且相对于 MCMC 精确。

提出的方法

• 定义后验期望对无穷小超参数扰动的局部敏感性。
• 证明后验期望的导数等于包含扰动项的协方差（定理1）。
• 引入一个变分贝叶斯（VB）框架，并推导出 VB 敏感性的闭式线性系统（定理2）。
• 将 LRVB 协方差定义为 g_eta H_eta_eta^{-1} g_eta^T，以估计后验协方差（定义6）。
• 展示如何从 VB 敏感性结果获得先验敏感性量度（第4节）。

实验结果

研究问题

• RQ1 如何通过敏感性分析在 MFVB 后验协方差上获得一致估计？
• RQ2 LRVB 协方差在保留更快计算的同时，是否能够紧密近似基于 MCMC 的协方差？
• RQ3 VB 敏感理论是否能够为 MFVB 提供实际的先验鲁棒性量度？
• RQ4 在何种条件下 MFVB 能为协方差估计提供准确的局部敏感性？

主要发现

• LRVB 的协方差估计在实验中与 MCMC 协方差紧密匹配，同时快出数量级地提升。
• MFVB 单独会低估方差，且无法捕捉跨分量协方差，而 LRVB 通过敏感性恢复了这些。
• 后验均值与扰动之间的相关性使高效的局部鲁棒性分析和超参数敏感性成为可能。
• 由于 H_eta_eta^{-1} 结构，LRVB 产生正半定、对称的协方差估计，提升相对于标准 MFVB 的可靠性。