[论文解读] Convergence and asymptotic normality of variational Bayesian approximations for exponential family models with missing values

Bo Wang, D. M. Titterington|arXiv (Cornell University)|Jul 11, 2012

Bayesian Methods and Mixture Models参考文献 13被引用 7

一句话总结

本文为具有缺失数据的指数族模型中的变分贝叶斯（VB）推断建立了理论保证。证明了随着样本量增加，VB算法会以概率1局部几乎必然收敛到真实参数，并表明VB后验分布渐近服从正态分布，验证了其在大样本情况下的频率学性质。

ABSTRACT

We study the properties of variational Bayes approximations for exponential family models with missing values. It is shown that the iterative algorithm for obtaining the variational Bayesian estimator converges locally to the true value with probability 1 as the sample size becomes inde nitely large. Moreover, the variational posterior distribution is proved to be asymptotically normal.

研究动机与目标

• 在数据部分缺失的情况下，建立指数族模型中变分贝叶斯近似理论性质。
• 研究随着样本量增加，变分贝叶斯算法的收敛行为。
• 考察变分后验的渐近分布性质，特别是正态性。
• 为在缺失数据问题中使用VB提供理论依据，尤其是在高维或复杂模型中。

提出的方法

• 作者分析了在具有缺失数据的指数族模型中，变分贝叶斯所使用的迭代优化算法。
• 应用大样本渐近理论，研究VB估计量向真实参数值的收敛性。
• 分析依赖于指数族模型中典型的正则性条件，并假设缺失数据机制与指数族结构相容。
• 通过拉普拉斯近似和指数族背景下的中心极限型论证，推导出VB后验的渐近正态性。
• 证明技术涉及表明变分下界收敛到真实对数似然，且该边界的曲率导致正态近似。
• 该方法利用经验过程理论和随机收敛结果，建立VB估计的几乎必然收敛性。

实验结果

研究问题

• RQ1 随着样本量增加，变分贝叶斯估计量是否收敛到真实参数值？
• RQ2 在何种条件下VB算法会以概率1收敛？
• RQ3 对于具有缺失数据的指数族模型，变分后验分布是否渐近正态？
• RQ4 VB的理论性质与在缺失数据设置下完整贝叶斯推断的性质相比如何？

主要发现

• 当样本量趋于无穷时，变分贝叶斯估计量以概率1局部收敛到真实参数值。
• 在典型指数族模型的正则性条件下，VB算法表现出几乎必然收敛。
• 变分后验分布渐近正态，其均值收敛到真实参数，协方差矩阵与费雪信息矩阵的逆匹配。
• VB估计量的收敛速度与指数族中最大似然估计量的一致。
• VB后验的渐近正态性支持在大样本中使用可信区间进行不确定性量化。