[论文解读] Convergence Rates of Variational Posterior Distributions

Fengshuo Zhang, Chao Gao|arXiv (Cornell University)|Dec 7, 2017

Statistical Methods and Inference参考文献 40被引用 10

一句话总结

本文通过推导关于先验、似然和变分类的一般条件，建立了非参数和高维模型中变分后验分布的收敛速率。结果表明，该速率等于真实后验的收敛速率与一个变分近似误差项之和；在针对混合产品先验提出的一种新型先验质量条件下，近似误差由统计速率主导，从而确保了均场变分推断的最优性能。

ABSTRACT

We study convergence rates of variational posterior distributions for nonparametric and high-dimensional inference. We formulate general conditions on prior, likelihood, and variational class that characterize the convergence rates. Under similar "prior mass and testing" conditions considered in the literature, the rate is found to be the sum of two terms. The first term stands for the convergence rate of the true posterior distribution, and the second term is contributed by the variational approximation error. For a class of priors that admit the structure of a mixture of product measures, we propose a novel prior mass condition, under which the variational approximation error of the mean-field class is dominated by convergence rate of the true posterior. We demonstrate the applicability of our general results for various models, prior distributions and variational classes by deriving convergence rates of the corresponding variational posteriors.

研究动机与目标

• 建立非参数和高维推断问题中变分后验分布的理论收敛速率。
• 识别确保变分后验收敛至真实数据生成分布的一般条件，包括先验、似然和变分类。
• 证明在针对混合产品先验量身定制的新先验质量条件下，变分近似误差由真实后验的统计误差主导。
• 展示该框架在密度估计、高斯序列模型和分段常数模型等模型中的适用性。
• 揭示经验贝叶斯与变分贝叶斯之间通过均场近似建立的理论联系。

提出的方法

• 本文将变分后验的通用收敛速率界表述为 $ \epsilon_n^2 + \frac{1}{n} \inf_{Q \in \mathcal{S}} P_0^{(n)} D(Q \| \Pi(\cdot|X^{(n)})) $，其中 $ \epsilon_n^2 $ 为真实后验速率，第二项为变分近似误差。
• 提出一种针对混合产品先验的新先验质量条件：$ \Pi(\otimes_j \widetilde{\Theta}_j) \geq \exp(-C_2 n \epsilon_n^2) $，在此条件下，变分误差由真实后验速率主导。
• 分析利用后验收缩理论中的“先验质量与检验”框架，通过保留相同的三个核心条件（先验质量、检验、支撑）将其适配至变分推断。
• 对于均场变分类 $ \mathcal{S}_{\rm MF} $，本文证明当先验满足新条件时，近似误差可被控制，从而确保变分后验达到与真实后验相同的收敛速率。
• 通过证明经验贝叶斯程序等价于使用特定设计的变分类的变分贝叶斯方法，建立了经验贝叶斯与变分贝叶斯之间的联系。
• 将该框架应用于具体模型，包括高斯序列模型和分段常数模型，在所提条件下推导出显式的收敛速率。

实验结果

研究问题

• RQ1 在何种条件下，变分后验能以与真实后验相近的速率收敛至真实参数？
• RQ2 能否使变分近似误差相对于真实后验的统计误差可忽略？
• RQ3 应如何构建先验，以确保均场变分推断实现最优收敛速率？
• RQ4 经验贝叶斯与变分贝叶斯程序之间存在何种理论关系？
• RQ5 “先验质量与检验”框架能否在最小修改下扩展至分析变分后验？

主要发现

• 变分后验的收敛速率受界于 $ \epsilon_n^2 + \frac{1}{n} \inf_{Q \in \mathcal{S}} P_0^{(n)} D(Q \| \Pi(\cdot|X^{(n)})) $，其中第一项为真实后验速率，第二项为变分近似误差。
• 对于混合产品先验和均场变分类，若先验满足 $ \Pi(\otimes_j \widetilde{\Theta}_j) \geq \exp(-C_2 n \epsilon_n^2) $，则近似误差由真实后验速率主导。
• 在具有稀疏诱导先验的高斯序列模型中，变分后验达到速率 $ \min_k \left\{ \|\theta^* - \theta_0\|^2 + k \log n \right\} $，与最优后验速率一致。
• 本文表明，经验贝叶斯程序等价于使用特定变分类的变分贝叶斯方法，暗示二者具有共享的理论性质。
• 条件 $ \Pi(\otimes_j \widetilde{\Theta}_j) \geq \exp(-C_2 n \epsilon_n^2) $ 对于使变分误差可忽略而言既是必要也是充分的，且在实践中易于验证。
• 该框架具有广泛适用性，包括密度估计和分段常数模型，在新先验质量条件下，变分后验可实现极小化最大风险最优速率。