[论文解读] Boosting Variational Inference: an Optimization Perspective

Francesco Locatello, Rajiv Khanna+2 more|arXiv (Cornell University)|Aug 5, 2017

Bayesian Methods and Mixture Models参考文献 18被引用 7

一句话总结

本文首次对提升变分推断（boosting variational inference）提供了显式的收敛性分析，通过将其与Frank-Wolfe算法关联，证明了在特定条件下具有子线性 O(1/T) 和线性 O(e^(-T)) 的收敛速率。研究表明，内层非凸问题的精确解并非必需，从而可实现高效且全局收敛的算法，同时具备理论保证，适用于基于混合模型的后验近似。

ABSTRACT

Variational inference is a popular technique to approximate a possibly intractable Bayesian posterior with a more tractable one. Recently, boosting variational inference has been proposed as a new paradigm to approximate the posterior by a mixture of densities by greedily adding components to the mixture. However, as is the case with many other variational inference algorithms, its theoretical properties have not been studied. In the present work, we study the convergence properties of this approach from a modern optimization viewpoint by establishing connections to the classic Frank-Wolfe algorithm. Our analyses yields novel theoretical insights regarding the sufficient conditions for convergence, explicit rates, and algorithmic simplifications. Since a lot of focus in previous works for variational inference has been on tractability, our work is especially important as a much needed attempt to bridge the gap between probabilistic models and their corresponding theoretical properties.

研究动机与目标

• 填补提升变分推断在理论上的空白，尽管其在实践中表现强劲，但缺乏收敛性分析。
• 建立贪婪变分推断算法全局收敛的充分条件。
• 推导出包含常数的显式收敛速率，超越以往推测的 O(1/T) 速率。
• 开发保留强理论保证的简化算法变体。
• 证明在较弱条件下可实现线性收敛，显著提升收敛速度。

提出的方法

• 本文将Frank-Wolfe算法的功能变体确立为提升变分推断的理论基础。
• 通过将贪婪成分添加过程建模为在混合密度凸集上的约束最小化问题，分析其收敛性。
• 方法采用线搜索、固定步长和完全校正步骤来优化混合权重，其中后者可实现线性收敛。
• 理论分析依赖于KL散度的光滑性和曲率假设，并基于分布特性推导出显式边界。
• 作者提出一种范数校正变体（算法3），在每一步重新优化所有混合权重，确保线性收敛，但计算成本略高。
• 该框架应用于ChemReact数据集上的贝叶斯逻辑回归，比较了不同权重优化策略的性能。

实验结果

研究问题

• RQ1 提升变分推断的全局收敛性所需充分条件是什么？
• RQ2 能否为提升变分推断算法推导出包含常数的显式收敛速率？
• RQ3 线性收敛 O(e^(-T)) 是否可实现？在何种条件下？
• RQ4 内层非凸优化步骤能否被近似，而不牺牲收敛性保证？
• RQ5 在理论和实践中，不同权重更新策略（线搜索、固定步长、完全校正）有何比较？

主要发现

• 本文证明，在较弱假设下，提升变分推断可实现全局收敛，且推导出基于分布光滑性的显式 O(1/T) 收敛速率及常数。
• 当真实后验位于族的相对内部时，可实现线性收敛 O(e^(-T))，显著优于子线性速率。
• 内层非凸问题无需精确求解；近似解即可维持收敛性保证。
• 完全校正的Frank-Wolfe变体（算法3）可实现线性收敛，但每轮迭代的计算成本更高。
• 在ChemReact数据集上，通过提升方法得到的高斯混合模型在训练对数似然和测试AUC上均优于均场变分推断。
• 理论分析证实，正则化（如协方差的对数行列式）可确保集合有界直径，从而在相对内部条件下实现线性收敛。