[论文解读] Fast robustness quantification with variational Bayes

Ryan Giordano, Tamara Broderick+3 more|arXiv (Cornell University)|Jun 23, 2016

Agricultural risk and resilience参考文献 16被引用 4

一句话总结

本文提出了一种快速、可扩展的方法，结合变分贝叶斯（VB）与线性响应变分贝叶斯（LRVB），用于贝叶斯分层模型的鲁棒性量化。该方法可在高达50倍于MCMC的速度下，快速估计后验均值及对先验扰动的敏感性，同时准确捕捉后验不确定性与鲁棒性，已在微额信贷有效性元分析中得到验证。

ABSTRACT

Bayesian hierarchical models are increasing popular in economics. When using hierarchical models, it is useful not only to calculate posterior expectations, but also to measure the robustness of these expectations to reasonable alternative prior choices. We use variational Bayes and linear response methods to provide fast, accurate posterior means and robustness measures with an application to measuring the effectiveness of microcredit in the developing world.

研究动机与目标

• 为解决在经济学大规模数据集中拟合贝叶斯分层模型时，马尔可夫链蒙特卡洛（MCMC）方法带来的计算负担。
• 提供一种快速、自动化的后验期望对先验扰动的鲁棒性测量方法，该问题在标准MCMC工作流中常被忽略。
• 证明变分贝叶斯（VB）结合线性响应变分贝叶斯（LRVB）可比MCMC快几个数量级，同时提供准确的后验近似与鲁棒性度量。
• 评估后验估计（特别是微额信贷元分析中的全局处理效应）对先验超参数合理变化的敏感性。

提出的方法

• 使用变分贝叶斯（VB）通过在因子化指数族分布的受限类中最小化Kullback-Leibler散度，近似真实后验分布。
• 应用线性响应变分贝叶斯（LRVB）通过扰动VB目标并计算后验累积量生成函数的导数，以改进后验协方差估计。
• 利用VB目标对先验参数的导数，推导后验均值对先验超参数的敏感性度量，实现局部鲁棒性分析。
• 采用自动微分高效计算LRVB所需的梯度与Hessian逆矩阵，实现快速且可扩展的鲁棒性量化。
• 通过真实世界微额信贷元分析中的后验均值、标准差与敏感性度量，将VB与LRVB结果与MCMC基准进行验证。
• 通过后验标准差对敏感性估计进行归一化，以在有意义且可解释的单位中解读先验变化的影响。

实验结果

研究问题

• RQ1 变分贝叶斯结合线性响应（LRVB）能否在社会科学应用中，为贝叶斯分层模型提供快速且准确的后验近似？
• RQ2 在真实世界数据拟合分层模型时，VB+LRVB的计算速度与MCMC相比如何？
• RQ3 后验估计（特别是全局处理效应）在多大程度上对先验超参数选择敏感？LRVB能否高效检测此类敏感性？
• RQ4 LRVB能否在不重新运行计算成本高昂的MCMC链的情况下，准确预测先验扰动对后验均值的影响？
• RQ5 当后验均值对先验假设高度敏感时，后验标准差是否能充分反映主观不确定性？

主要发现

• VB与LRVB生成的后验均值估计与MCMC几乎完全一致，微额信贷有效性（τ）的后验均值为3.08，标准差为1.83。
• LRVB纠正了原始VB对后验标准差的低估问题，使估计值更接近基于MCMC的基准值。
• 整个VB+LRVB流程（包括鲁棒性度量）仅耗时58秒，比生成2500次MCMC抽样（耗时45分钟）快逾45倍。
• LRVB的敏感性估计与手动扰动先验后重新运行MCMC所观察到的实际后验均值变化高度一致，验证了其准确性。
• τ的后验均值对先验精度参数Λ₁₁的变化极为敏感（每增加0.01，后验标准差变化8.88个单位），表明在合理先验不确定性下存在非鲁棒性。
• 对角线外先验协方差项（Λ₁₂）的敏感性甚至更强，表明对参数间相关性的先验假设可能显著改变结论。