[论文解读] Fast Second-Order Stochastic Backpropagation for Variational Inference

Kai Fan, Ziteng Wang+3 more|arXiv (Cornell University)|Sep 9, 2015

Gaussian Processes and Bayesian Inference参考文献 30被引用 21

一句话总结

该论文提出 HFSGVI，一种基于重参数化技术的无海森矩阵高斯反向传播的可扩展二阶随机优化方法，用于变分推断。通过高效计算海森向量积获得曲率信息，该方法在深度潜在变量模型（如 VAE 和贝叶斯逻辑回归）中相比一阶方法（如 SGD 和 AdaGrad）实现了更快的收敛速度。

ABSTRACT

We propose a second-order (Hessian or Hessian-free) based optimization method for variational inference inspired by Gaussian backpropagation, and argue that quasi-Newton optimization can be developed as well. This is accomplished by generalizing the gradient computation in stochastic backpropagation via a reparametrization trick with lower complexity. As an illustrative example, we apply this approach to the problems of Bayesian logistic regression and variational auto-encoder (VAE). Additionally, we compute bounds on the estimator variance of intractable expectations for the family of Lipschitz continuous function. Our method is practical, scalable and model free. We demonstrate our method on several real-world datasets and provide comparisons with other stochastic gradient methods to show substantial enhancement in convergence rates.

研究动机与目标

• 解决一阶随机梯度方法在深度潜在变量模型（如 VAE 和贝叶斯逻辑回归）中收敛缓慢的问题。
• 通过在变分推断中实现高效的海森向量积计算，克服精确牛顿法的高计算成本。
• 开发一种无需显式海森矩阵求逆的、与模型无关的可扩展优化框架，以利用曲率信息。
• 证明二阶信息可提升收敛速度，同时保持每轮迭代与数据规模呈线性复杂度。
• 将随机梯度估计器的理论方差界推广至多变量、利普希茨连续函数，推广先前的单变量结果。

提出的方法

• 利用重参数化技巧将潜在变量表示为噪声的确定性函数，从而实现无偏梯度与海森矩阵估计。
• 基于位置尺度族的性质，推导高斯变分近似下的二阶梯度（海森矩阵及海森向量积）。
• 采用无海森矩阵优化方法，避免显式计算海森矩阵逆，将每轮迭代的计算成本从 O(d²) 降低至 O(d)，其中 d 为潜在空间维度。
• 将无海森矩阵优化与随机反向传播相结合，形成 HFSGVI，一种用于联合参数优化的可扩展二阶算法。
• 利用牛顿类方法的仿射不变性，自动调整学习率，消除手动调参的需要。
• 将该方法应用于贝叶斯逻辑回归与变分自编码器，验证其在实际应用中的可扩展性与收敛速度。

实验结果

研究问题

• RQ1 能否使基于海森信息的二阶优化在深度潜在变量模型的变分推断中实现可扩展且高效？
• RQ2 在不求解完整海森矩阵逆的前提下，如何高效计算高斯变分推断中的海森向量积？
• RQ3 在真实世界生成模型中，引入曲率信息是否能相比一阶随机梯度方法实现更快的收敛？
• RQ4 对于不可计算期望的随机梯度估计器，其方差能否在利普希茨连续函数下实现与维度无关的有界性？
• RQ5 在基准数据集上，HFSGVI 与一阶方法（如 SGD 和 AdaGrad）相比，在性能与收敛速度上表现如何？

主要发现

• 在贝叶斯逻辑回归与 VAE 上，HFSGVI 相较于 SGD 和 AdaGrad 等一阶方法实现了显著更快的收敛速度，表现为下界随时间增长更迅速。
• 尽管使用了二阶信息，该算法每轮迭代的计算复杂度仍与训练样本数量保持线性关系，与 SGD 一致。
• 对于利普希茨连续函数，随机下界估计器的方差被一个与维度无关的常数所界定，扩展了先前的单变量方差界结果。
• HFSGVI 中的无海森矩阵优化因具备仿射不变性，消除了对人工学习率调优的需求，提升了鲁棒性。
• 在 Olivetti 人脸数据集上的重建结果表明，即使在瓶颈化潜在空间下，HFSGVI 生成的图像也比 AdaGrad 更清晰、更逼真。
• 通过二维潜在空间的流形可视化，证实 HFSGVI 以平滑且可解释的方式捕捉到了数据中的有意义结构，如人脸身份的变化。