[论文解读] A Non-Asymptotic Analysis for Stein Variational Gradient Descent

Anna Korba, Adil Salim+3 more|arXiv (Cornell University)|Jun 17, 2020

Markov Chains and Monte Carlo Methods参考文献 35被引用 15

一句话总结

本文对Stein变分梯度下降（SVGD）进行了非渐近分析，建立了无限粒子极限下的下降引理和平均Stein Fisher散度（核Stein差异）的收敛速率。此外，还给出了有限粒子系统的混沌传播界，量化了在核函数与势函数正则性假设下，经验粒子分布与其总体极限之间的偏差。

ABSTRACT

We study the Stein Variational Gradient Descent (SVGD) algorithm, which optimises a set of particles to approximate a target probability distribution $π\propto e^{-V}$ on $\mathbb{R}^d$. In the population limit, SVGD performs gradient descent in the space of probability distributions on the KL divergence with respect to $π$, where the gradient is smoothed through a kernel integral operator. In this paper, we provide a novel finite time analysis for the SVGD algorithm. We provide a descent lemma establishing that the algorithm decreases the objective at each iteration, and rates of convergence for the average Stein Fisher divergence (also referred to as Kernel Stein Discrepancy). We also provide a convergence result of the finite particle system corresponding to the practical implementation of SVGD to its population version.

研究动机与目标

• 为SVGD提供一种有限时间内的非渐近分析，以解决现有文献中缺乏定量收敛速率的问题。
• 在总体极限下，建立一个下降引理，表明使用固定步长时，SVGD在每次迭代中均能减小目标函数值。
• 在无限粒子极限下，推导平均Stein Fisher散度（核Stein差异）的收敛速率。
• 通过混沌传播界量化有限粒子系统与其总体对应物之间的偏差。
• 为理解实际中使用有限粒子的SVGD实现的收敛行为奠定理论基础。

提出的方法

• 将SVGD表述为在概率测度的Wasserstein空间中的梯度下降，以Kullback-Leibler散度为目标函数。
• 在配备Wasserstein距离的概率测度空间中应用优化技术，推导下降引理。
• 使用核积分算子对梯度方向进行平滑，将下降限制在再生核Hilbert空间（RKHS）的单位球内。
• 通过Jourdain等人（2007）的技术推导混沌传播界，将经验粒子分布与总体水平对应物联系起来。
• 对势函数$V$和核函数$k$施加正则性条件，包括Lipschitz连续性和有界性，以确保稳定性和收敛性。
• 分析SVGD的连续时间动力学与离散时间迭代，给出有限粒子分布与总体分布之间Wasserstein距离的显式界。

实验结果

研究问题

• RQ1 能否在固定步长下，于无限粒子极限下为SVGD建立非渐近下降引理？
• RQ2 在总体极限下，平均Stein Fisher散度（核Stein差异）的收敛速率是什么？
• RQ3 SVGD中有限粒子的经验分布随时间如何偏离其总体水平对应物？
• RQ4 能否为SVGD粒子系统推导出一个关于时间一致的混沌传播界？
• RQ5 当粒子数$N$与迭代次数$n$均趋于无穷时，有限粒子SVGD系统在何种条件下收敛至目标分布$\pi$？

主要发现

• 在无限粒子极限下，为SVGD建立了下降引理，表明算法在每次迭代中均能以固定步长减小目标函数值。
• 提供了平均Stein Fisher散度（核Stein差异）的收敛速率，量化了差异随时间衰减至零的过程。
• 推导出混沌传播界，表明$\mathbb{E}[W_2^2(\mu_n, \hat{\mu}_n)] \leq \frac{1}{2}\left(\frac{1}{\sqrt{N}}\sqrt{\text{var}(\mu_0)}e^{LT}\right)(e^{2LT}-1)$，其中$L$依赖于核函数与目标分布。
• 该界依赖于粒子数$N$、时间范围$T$和初始方差，但不依赖于时间一致的衰减，表明混沌传播是非一致的。
• 结果为非渐近分析，明确量化了粒子数、迭代次数与近似误差之间的权衡。
• 该分析指出了开放问题，包括推导时间一致的混沌传播界，以及在凸性或对数Sobolev条件下以KL散度为度量的收敛速率。