[论文解读] SVGD as a kernelized Wasserstein gradient flow of the chi-squared divergence

Sinho Chewi, Thibaut Le Gouic+3 more|arXiv (Cornell University)|Jun 3, 2020

Adversarial Robustness in Machine Learning被引用 7

一句话总结

该论文将Stein变分梯度下降（SVGD）重新解释为卡方散度的核化Wasserstein梯度流，而非KL散度，从而在Poincaré不等式条件下实现了更强的收敛保证。该研究提出拉普拉斯校正Wasserstein梯度下降（LAWGD），利用拉普拉斯算子的谱分解实现一致的指数遍历性，并在收敛速度和稳定性方面优于SVGD。

ABSTRACT

Stein Variational Gradient Descent (SVGD), a popular sampling algorithm, is often described as the kernelized gradient flow for the Kullback-Leibler divergence in the geometry of optimal transport. We introduce a new perspective on SVGD that instead views SVGD as the (kernelized) gradient flow of the chi-squared divergence which, we show, exhibits a strong form of uniform exponential ergodicity under conditions as weak as a Poincar\\'e inequality. This perspective leads us to propose an alternative to SVGD, called Laplacian Adjusted Wasserstein Gradient Descent (LAWGD), that can be implemented from the spectral decomposition of the Laplacian operator associated with the target density. We show that LAWGD exhibits strong convergence guarantees and good practical performance.

研究动机与目标

• 通过卡方散度而非KL散度的视角重新审视SVGD，以提升理论理解。
• 在最小假设（如Poincaré不等式）下建立强收敛保证——特别是统一指数遍历性。
• 开发一种新型采样算法LAWGD，利用拉普拉斯算子的谱分解实现稳定且高效的粒子演化。
• 为SVGD提出一个基于使核算子在目标测度下接近恒等算子的系统性核选择规则。
• 通过实证结果表明，LAWGD在常数步长下收敛更快，并避免了SVGD常见的不稳定性问题。

提出的方法

• 将SVGD重新解释为Wasserstein空间中卡方散度的核化梯度流，使用单个积分算子 $\mathcal{K}_{\pi}$ 而非 $\mathcal{K}_{\mu_t}$。
• 提出LAWGD作为新算法，利用与目标密度 $\pi$ 相关的薛定谔算子的谱分解来定义核。
• 通过自动微分计算拉普拉斯算子和势函数 $V$ 的梯度，以实际计算薛定谔算子。
• 使用拉普拉斯算子的特征函数（如一维中的埃尔米特多项式）作为基函数，构建核算子。
• 采用固定步长方案，通过卡方散度的核化梯度流演化粒子动力学。
• 在二维中使用有限差分方法近似拉普拉斯算子，以确保数值稳定性和精确的梯度计算。

实验结果

研究问题

• RQ1 SVGD能否被重新解释为卡方散度的梯度流而非KL散度？其理论含义是什么？
• RQ2 这一新视角是否能在更弱的假设（如Poincaré不等式）下带来更强的收敛保证，例如统一指数遍历性？
• RQ3 能否基于此视角设计一种新型采样算法，使其在收敛速度和稳定性方面优于SVGD？
• RQ4 在此新框架下，SVGD的最优核选择是什么？如何系统地推导出该选择？
• RQ5 在实践中，所提出的LAWGD算法与SVGD相比表现如何，特别是在常数步长条件下？

主要发现

• 在Poincaré不等式下，卡方散度梯度流以一致指数速度收敛，遗忘时间有限，且上界为Poincaré常数的一半。
• 该方法实现了统一指数遍历性，即初始分布的遗忘时间仅依赖于Poincaré常数，且为有限时间。
• 在常数步长下，LAWGD表现出比SVGD更快的收敛速度和更高的稳定性，避免了粒子发散问题。
• 在2000次迭代内，LAWGD成功从一个两模态的二维高斯混合分布中采样，而使用常数步长的SVGD无法稳定。
• 实验结果表明，LAWGD的粒子迅速移动到最终位置并快速稳定，而SVGD在常数步长下粒子持续漂移或发散。
• 理论分析表明，卡方散度的衰减速率至少为 $\exp(-t/C_{\mathsf{LSI}})$，并在对数索博列夫和Poincaré条件下给出了显式上界。