[论文解读] Concentration of tempered posteriors and of their variational approximations

Pierre Alquier, James Ridgway|arXiv (Cornell University)|Jun 28, 2017

Bayesian Methods and Mixture Models被引用 4

一句话总结

本文建立了变分贝叶斯（VB）对温度后验的通用oracle不等式，表明在温和正则性条件下，VB收敛速率与温度后验一致。该文推导了参数模型、高维模型（矩阵补全）和非参数模型（密度估计）的显式集中速率，通过PAC-贝叶斯工具，在对数-Lipschitz似然函数和有界损失函数下提供了理论保证。

ABSTRACT

While Bayesian methods are extremely popular in statistics and machine learning, their application to massive datasets is often challenging, when possible at all. Indeed, the classical MCMC algorithms are prohibitively slow when both the model dimension and the sample size are large. Variational Bayesian methods aim at approximating the posterior by a distribution in a tractable family. Thus, MCMC are replaced by an optimization algorithm which is orders of magnitude faster. VB methods have been applied in such computationally demanding applications as including collaborative filtering, image and video processing, NLP and text processing... However, despite very nice results in practice, the theoretical properties of these approximations are usually not known. In this paper, we propose a general approach to prove the concentration of variational approximations of fractional posteriors. We apply our theory to two examples: matrix completion, and Gaussian VB.

研究动机与目标

• 为大规模贝叶斯推断中的变分贝叶斯（VB）近似提供理论保证，特别是在马尔可夫链蒙特卡洛（MCMC）不可行时。
• 将集中速率分析从标准后验扩展到温度后验（分数阶后验），后者在高维或模型错误设定下更具鲁棒性。
• 推导一个通用的oracle不等式，将VB近似质量与先验选择和变分族结构联系起来。
• 建立VB近似达到与温度后验相同集中速率的条件。
• 在参数模型、高维模型（矩阵补全）和非参数模型（密度估计）上验证理论。

提出的方法

• 提出一个通用的oracle不等式，以先验的Kullback-Leibler（KL）散度和模型的对数似然结构为条件，界定了VB近似与温度后验之间期望差异的上界。
• 利用PAC-贝叶斯不等式分析当似然函数无界时的VB近似伪后验，扩展了先前针对有界损失框架的研究。
• 通过 $ L^eta( heta) $ 引入温度后验，其中 $ 0 < eta < 1 $，改善了集中性质并降低了正则性假设要求。
• 将oracle不等式应用于在对数-Lipschitz似然函数和变分目标梯度有界条件下推导收敛速率。
• 采用带平均的在线随机梯度下降（SGD）高效计算VB近似，其遗憾界由凸优化理论推导得出。
• 使用Bregman散度和KL散度量化后验集中，将变分近似误差与模型复杂度和先验信息联系起来。

实验结果

研究问题

• RQ1 在何种条件下，温度后验的变分贝叶斯近似会以与真实温度后验相同的速率集中？
• RQ2 PAC-贝叶斯工具如何被调整以处理VB近似理论中无界的对数似然函数？
• RQ3 对数-Lipschitz似然函数的参数模型中，VB的理论收敛速率是什么？
• RQ4 在温和正则性条件下，VB能否在高维模型（如矩阵补全）中实现一致估计？
• RQ5 在使用高斯混合模型或核方法的非参数模型（如密度估计）中，VB的理论保证是什么？

主要发现

• 本文推导出一个通用的oracle不等式，将VB近似的质量与先验和变分族 $ ilde{ ho} $ 的结构联系起来，表明近似误差受先验KL散度和模型似然结构的控制。
• 对于对数-Lipschitz似然函数的参数模型，VB近似实现了与温度后验相同的集中速率，确保了一致性和效率。
• 在高维矩阵补全中，VB近似实现了 $ O\big(\frac{d \text{rank}(X)}{n}\big) $ 的速率，在温和假设下与已知极小极大速率一致。
• 在非参数密度估计中，VB近似在适当的光滑性和先验正则性条件下实现了 $ O(n^{-\frac{1}{2}}) $ 的速率。
• 在VB算法中使用带平均的在线SGD，确保了 $ O(\frac{1}{\tau^{1/2}}) $ 的遗憾界，这转化为变分目标在期望下的 $ O(\frac{1}{\tau^{1/2}}) $ 收敛速率。
• 通过PAC-贝叶斯界的新颖适应，该理论适用于无界似然函数，克服了先前研究仅限于有界损失函数的局限性。