[论文解读] A stochastic Stein Variational Newton method

Alex Leviyev, Joshua Chen+3 more|arXiv (Cornell University)|Apr 19, 2022

Markov Chains and Monte Carlo Methods被引用 7

一句话总结

本文提出了一种随机斯坦因变分牛顿（sSVN）方法，结合了斯坦因变分牛顿（SVN）的快速收敛性与随机sSVGD的渐近正确性。通过引入源自随机微分方程的噪声项以及类似Levenberg的阻尼项，sSVN在保持无偏采样的同时，相较于sSVGD在复杂后验分布上的梯度评估次数减少了高达三个数量级。

ABSTRACT

Stein variational gradient descent (SVGD) is a general-purpose optimization-based sampling algorithm that has recently exploded in popularity, but is limited by two issues: it is known to produce biased samples, and it can be slow to converge on complicated distributions. A recently proposed stochastic variant of SVGD (sSVGD) addresses the first issue, producing unbiased samples by incorporating a special noise into the SVGD dynamics such that asymptotic convergence is guaranteed. Meanwhile, Stein variational Newton (SVN), a Newton-like extension of SVGD, dramatically accelerates the convergence of SVGD by incorporating Hessian information into the dynamics, but also produces biased samples. In this paper we derive, and provide a practical implementation of, a stochastic variant of SVN (sSVN) which is both asymptotically correct and converges rapidly. We demonstrate the effectiveness of our algorithm on a difficult class of test problems -- the Hybrid Rosenbrock density -- and show that sSVN converges using three orders of magnitude fewer gradient evaluations of the log likelihood than its stochastic SVGD counterpart. Our results show that sSVN is a promising approach to accelerating high-precision Bayesian inference tasks with modest-dimension, $d\sim\mathcal{O}(10)$.

研究动机与目标

• 解决确定性斯坦因变分牛顿（SVN）中的偏差问题，同时保持其快速收敛性。
• 开发SVN的随机变体，通过噪声注入实现渐近正确性，类似于sSVGD。
• 在低至中等维度问题（$d \sim \mathcal{O}(10)$）中实现高效的高精度贝叶斯推断。
• 通过在动力学中引入类似Levenberg的阻尼项，提升收敛速度与稳定性。
• 证明sSVN在后验收敛方面可将对数似然梯度评估次数减少至sSVGD的数个数量级以下。

提出的方法

• 通过在离散化随机微分方程中引入噪声项，推导出SVN的随机变体（sSVN），以确保渐近正确性。
• 将海森矩阵信息融入粒子动力学，以加速收敛，类似于优化中的牛顿方法。
• 引入类似Levenberg的阻尼项以稳定流并提升全局收敛性，尤其在狭窄脊状区域表现更优。
• 采用核化斯坦因差异框架来定义函数梯度与牛顿更新方向。
• 设计一个以牛顿步长加噪声为中心的提议分布的马尔可夫链，实现渐近正确的采样。
• 应用阻尼调度或Metropolis-Hastings校正，进一步降低平稳分布中的偏差。

实验结果

研究问题

• RQ1 能否构建SVN的随机变体，以在保持快速收敛性的同时确保渐近正确性？
• RQ2 源自随机微分方程的噪声项如何影响SVN动力学的收敛性与偏差？
• RQ3 与sSVGD相比，sSVN在后验收敛方面能将对数似然梯度评估次数减少多少？
• RQ4 类似Levenberg的阻尼项在高曲率后验区域中如何提升sSVN的稳定性和鲁棒性？
• RQ5 sSVN能否在如混合Rosenbrock密度等具有挑战性的测试问题上实现高精度后验重构？

主要发现

• 在五维混合Rosenbrock问题中，sSVN实现后验重构所需的梯度评估次数约为sSVGD的千分之一。
• 在十维混合Rosenbrock测试案例中，sSVN约在200次迭代内达到平衡，而sSVGD需超过10,000次迭代才能收敛。
• 即使仅进行100次最终迭代，sSVN生成的最终样本与真实值高度一致，经P-P图与角落图验证。
• sSVN在矩收敛方面表现更优：在五维情况下，所有矩在100次迭代内即稳定，而sSVGD则需超过10,000次。
• 该算法继承了SVN的仿射不变性，可采用更大、更鲁棒的步长，对后验中的狭窄脊状区域不敏感。
• 采用阻尼调度或Metropolis-Hastings校正可确保渐近正确性，彻底消除平稳分布中的偏差。