[论文解读] Boosting Black Box Variational Inference

Francesco Locatello, Gideon Dresdner+3 more|arXiv (Cornell University)|Jun 6, 2018

Gaussian Processes and Bayesian Inference被引用 19

一句话总结

本文提出了一种黑箱变分推断（BBVI）框架，通过使用Frank-Wolfe算法迭代构建密度混合体来提升近似质量。通过放松收敛条件并引入残差ELBO（RELBO），该方法实现了无需定制LMO的全黑箱实现，从而在各类模型中实现了更低方差和更高稳定性的后验近似。

ABSTRACT

Approximating a probability density in a tractable manner is a central task in Bayesian statistics. Variational Inference (VI) is a popular technique that achieves tractability by choosing a relatively simple variational family. Borrowing ideas from the classic boosting framework, recent approaches attempt to \emph{boost} VI by replacing the selection of a single density with a greedily constructed mixture of densities. In order to guarantee convergence, previous works impose stringent assumptions that require significant effort for practitioners. Specifically, they require a custom implementation of the greedy step (called the LMO) for every probabilistic model with respect to an unnatural variational family of truncated distributions. Our work fixes these issues with novel theoretical and algorithmic insights. On the theoretical side, we show that boosting VI satisfies a relaxed smoothness assumption which is sufficient for the convergence of the functional Frank-Wolfe (FW) algorithm. Furthermore, we rephrase the LMO problem and propose to maximize the Residual ELBO (RELBO) which replaces the standard ELBO optimization in VI. These theoretical enhancements allow for black box implementation of the boosting subroutine. Finally, we present a stopping criterion drawn from the duality gap in the classic FW analyses and exhaustive experiments to illustrate the usefulness of our theoretical and algorithmic contributions.

研究动机与目标

• 为解决白箱增强VI因对变分族和LMO实现的严格假设而不切实际的问题。
• 通过消除对每个模型定制的、特定于模型的LMO的需求，实现增强VI的黑箱部署。
• 通过将基于曲率的条件放松而非严格平滑性，改善增强VI的收敛保证和稳定性。
• 基于Frank-Wolfe优化中的对偶间隙，提供一种实用的停止准则。
• 在多个真实世界和合成的贝叶斯模型中展示该方法的有效性。

提出的方法

• 使用松弛的有界曲率假设替代严格平滑性，重新表述增强VI问题，采用函数Frank-Wolfe算法。
• 引入残差ELBO（RELBO）作为修改后的目标函数，以确保每次增强迭代中非退化分量的选择。
• 通过将增强子程序与特定于模型的实现解耦，实现黑箱兼容性，从而可重用标准VI求解器。
• 基于经典Frank-Wolfe理论推导出基于对偶间隙的停止准则，以确定最优迭代次数。
• 采用迭代混合更新，其中每个新分量通过在灵活且未截断的变分族上最大化RELBO来选择。
• 在贝叶斯线性回归、矩阵分解和临床预测任务中应用该框架，使用标准BBVI后端。

实验结果

研究问题

• RQ1 能否在无需为每个模型定制LMO实现的情况下，使增强变分推断完全黑箱化？
• RQ2 将平滑性假设放松为有界曲率，是否能改善VI中的收敛保证和实际可行性？
• RQ3 残差ELBO（RELBO）目标是否能确保非退化且高质量的分量，同时支持黑箱优化？
• RQ4 对偶间隙是否在实践中是增强VI的可靠且有效的停止准则？
• RQ5 与标准BBVI相比，该方法是否实现了更优的后验近似质量和更低的方差？

主要发现

• 在ChemReact数据集上，使用拉普拉斯基底族的增强BBVI实现了0.794 ± 0.005的测试AUROC，优于BBVI使用拉普拉斯族（0.781 ± 0.012）和高斯族（0.790 ± 0.009）。
• 在eICU数据集上，增强BBVI实现了0.844 ± 0.006的测试AUROC，性能更优且方差更低，优于基线BBVI（0.838 ± 0.016）。
• 在CBCL人脸数据集上的贝叶斯矩阵分解中，增强BBVI将均方误差降低至0.0135 ± 0.52e-04（D=10），优于基线BBVI（0.0188 ± 0.001）。
• 对于保留测试集的对数似然，增强BBVI达到-0.9492 ± 0.001（D=10），优于基线BBVI的-0.9468 ± 0.3e-3。
• 该方法在多次重复实验中持续降低了方差，表明其稳定性优于标准BBVI。
• 基于对偶间隙的停止准则有效识别出最优迭代次数，在ChemReact和eICU数据集中第17次迭代表现最佳。