[论文解读] A Framework for Improving the Reliability of Black-box Variational Inference

Manushi Welandawe, Michael Riis Andersen+2 more|arXiv (Cornell University)|Mar 29, 2022

Gaussian Processes and Bayesian Inference被引用 4

一句话总结

本文提出 RAABBVI，一种稳健、自动且精确的黑箱变分推断框架，通过使用对称 KL 散度估计动态调整学习率和终止条件。通过检测固定学习率迭代的收敛性并平衡精度与计算成本，RAABBVI 在多种模型中实现了高可靠性，并显著降低了对超参数调优的敏感性。

ABSTRACT

Black-box variational inference (BBVI) now sees widespread use in machine learning and statistics as a fast yet flexible alternative to Markov chain Monte Carlo methods for approximate Bayesian inference. However, stochastic optimization methods for BBVI remain unreliable and require substantial expertise and hand-tuning to apply effectively. In this paper, we propose Robust and Automated Black-box VI (RABVI), a framework for improving the reliability of BBVI optimization. RABVI is based on rigorously justified automation techniques, includes just a small number of intuitive tuning parameters, and detects inaccurate estimates of the optimal variational approximation. RABVI adaptively decreases the learning rate by detecting convergence of the fixed--learning-rate iterates, then estimates the symmetrized Kullback--Leibler (KL) divergence between the current variational approximation and the optimal one. It also employs a novel optimization termination criterion that enables the user to balance desired accuracy against computational cost by comparing (i) the predicted relative decrease in the symmetrized KL divergence if a smaller learning were used and (ii) the predicted computation required to converge with the smaller learning rate. We validate the robustness and accuracy of RABVI through carefully designed simulation studies and on a diverse set of real-world model and data examples.

研究动机与目标

• 解决现有随机优化方法在黑箱变分推断（BBVI）中不可靠且调优负担过重的问题。
• 开发一种无需专家干预即可自动平衡精度与计算成本的框架。
• 提供一种鲁棒的终止准则，以检测进一步优化是否带来边际收益。
• 利用对称 KL 散度作为收敛性度量，实现对最优变分近似的精确估计。
• 在保持高精度的同时，降低对超参数的敏感性，适用于多种模型和数据集。

提出的方法

• RAABBVI 初始使用固定学习率进行优化，一旦通过滑动窗口稳定性检验检测到迭代序列收敛，便自适应地减小学习率。
• 通过估计当前迭代平均与最优变分近似之间的对称 Kullback–Leibler（SKL）散度来评估精度。
• 提出一种新颖的终止准则，将预测的 SKL 散度相对减少量与进一步优化所需的预测计算量进行比较，从而实现精度与成本之间的权衡。
• 框架采用迭代平均技术，在固定学习率下提升估计精度，利用 Pflug 等人的理论结果。
• 支持多种随机优化方法（如 RMSProp、Adam）和变分族（如全秩高斯分布），增强了灵活性。
• 收敛性检测基于滑动窗口相对误差阈值和效率指标，避免过早停止。

实验结果

研究问题

• RQ1 是否可以设计一种对超参数选择不敏感但保持高精度的黑箱变分推断框架？
• RQ2 在不依赖启发式方法或固定迭代次数的前提下，如何可靠地检测随机 BBVI 中的收敛性？
• RQ3 与固定学习率方法相比，自动学习率自适应能在多大程度上提升 BBVI 的精度与效率？
• RQ4 能否设计一种具有原则性的终止准则，以在精度与计算成本之间实现平衡？
• RQ5 在多种真实世界模型和数据集上，RAABBVI 相较于动态 HMC 和其他 BBVI 方法表现如何？

主要发现

• 在 dogs 数据集等基准模型中，RAABBVI 相较于固定学习率方法和动态 HMC，相对均方误差显著更低（量级为 10^-2 至 10^-3）。
• 框架在不同初始学习率、窗口大小和误差阈值下均表现出稳健性能，对超参数变化的敏感性极低。
• 极端调优选择（如 γ₀ = 0.01 或 M ≤ 5）导致运行时间延长，但大多数配置下精度保持稳定。
• 在固定学习率下使用迭代平均显著提升了收敛性和估计精度，尤其在结合自适应学习率降低策略时效果更明显。
• RAABBVI 的终止准则成功识别出进一步优化无法带来显著改进的时刻，从而减少了不必要的计算。
• 在模拟和真实世界示例中，RAABBVI 一致地生成了接近最优的变分近似，其性能通过对称 KL 散度度量结果验证。