[论文解读] Fast Black-box Variational Inference through Stochastic Trust-Region Optimization

Jeffrey Regier, Michael I. Jordan+1 more|arXiv (Cornell University)|Jun 7, 2017

Stochastic Gradient Optimization Techniques参考文献 12被引用 6

一句话总结

TrustVI 是一种快速的二阶黑箱变分推断算法，采用重参数化技巧结合随机信赖域优化，在数十次迭代内实现收敛——通常比 ADVI 快一个数量级，同时可证明收敛至驻点，并且通常能找到优于无海森矩阵随机梯度方法（如 HFSGVI）的变分近似。

ABSTRACT

We introduce TrustVI, a fast second-order algorithm for black-box variational inference based on trust-region optimization and the reparameterization trick. At each iteration, TrustVI proposes and assesses a step based on minibatches of draws from the variational distribution. The algorithm provably converges to a stationary point. We implemented TrustVI in the Stan framework and compared it to two alternatives: Automatic Differentiation Variational Inference (ADVI) and Hessian-free Stochastic Gradient Variational Inference (HFSGVI). The former is based on stochastic first-order optimization. The latter uses second-order information, but lacks convergence guarantees. TrustVI typically converged at least one order of magnitude faster than ADVI, demonstrating the value of stochastic second-order information. TrustVI often found substantially better variational distributions than HFSGVI, demonstrating that our convergence theory can matter in practice.

研究动机与目标

• 解决黑箱变分推断中随机一阶优化收敛缓慢的问题，其通常需要数千次迭代。
• 克服现有二阶方法（如 HFSGVI）的局限性，后者缺乏收敛保证，并因大而无界的步长导致数值不稳定。
• 开发一种结合信赖域原理与重参数化技巧的随机二阶优化框架，实现可扩展且可靠的变分推断。
• 为变分推断背景下随机非凸优化提供理论收敛保证，确保对曲率和随机性的鲁棒性。
• 证明收敛理论可转化为实际性能提升，在速度和解质量方面优于一阶和启发式二阶基线方法。

提出的方法

• 使用信赖域优化自适应控制步长，拒绝导致数值溢出或目标函数退化的步骤。
• 利用重参数化技巧，通过从基础分布中独立同分布抽取样本，实现 ELBO 的随机梯度估计。
• 通过前向模式自动微分近似海森向量积，高效计算二阶信息，而无需构造完整的海森矩阵。
• 使用霍夫丁不等式动态调整评估候选步骤时的采样率，以确保随机海森矩阵和梯度估计的充分准确性。
• 集成两阶段优化策略：第一阶段为学习率自适应阶段，使用多个候选学习率进行 50 次 SGD 迭代；第二阶段为使用最优学习率的完整 TrustVI 优化。
• 应用对负曲率具有鲁棒性的信赖域更新，即使在牛顿型方法可能失效的非凸区域也能实现下降。

实验结果

研究问题

• RQ1 与一阶方法（如 ADVI）相比，结合二阶信息的随机信赖域优化是否能显著加速黑箱变分推断的收敛？
• RQ2 在随机二阶方法中引入收敛保证，是否能带来优于启发式二阶方法（如 HFSGVI）的实际性能提升？
• RQ3 TrustVI 用于随机海森矩阵和梯度估计的自适应采样策略如何影响收敛稳定性和计算效率？
• RQ4 在 HFSGVI 因数值溢出而失败的场景下，TrustVI 在收敛速度和最终 ELBO 值方面何时优于 HFSGVI？
• RQ5 TrustVI 的理论收敛保证在多大程度上转化为多样贝叶斯模型中的实际鲁棒性与更优解质量？

主要发现

• 在大量贝叶斯模型中，TrustVI 的收敛速度通常比 ADVI 快至少一个数量级，137 个模型中有 136 个（99%）被更快求解。
• 在 69 个模型（50%）中，TrustVI 的速度至少是 ADVI 的 12 倍；在 34 个模型（25%）中，速度至少是 ADVI 的 36 倍。
• 在 183 个模型中的 126 个（69%）中，TrustVI 和 ADVI 找到的中位最优 ELBO 值无显著差异；TrustVI 在 51 个模型（28%）中表现更优，仅在 6 个模型（3%）中表现较差。
• 在 160 个模型中的 51 个（28%）中，TrustVI 的解质量优于 HFSGVI；而 HFSGVI 因数值溢出导致 23 个模型无法收敛，被排除在分析之外。
• 尽管 HFSGVI 在部分模型上早期进展更快，但 TrustVI 通过信赖域拒绝机制始终避免了不良步骤，从而实现了更稳定且更高质量的解。
• TrustVI 的收敛保证具有实际意义：它避免了 HFSGVI 的不稳定性，并在超过三分之一的模型中实现了比 HFSGVI 更优的中位 ELBO 值，尤其是在 HFSGVI 失败或导致目标函数下降的情况下。