[论文解读] Dimension-free convergence rates for gradient Langevin dynamics in RKHS
本文在再生核希尔伯特空间（RKHS）中建立了梯度朗之万动力学（GLD）和随机GLD（SGLD）的无维收敛速率，利用谱伽辽金半隐式格式和相关马尔可夫链的几何遍历性。关键贡献在于推导出一个非渐近误差界，该界在时间跨度上一致且与底层维度无关，显式依赖于逆温度β和正则化参数。
Gradient Langevin dynamics (GLD) and stochastic GLD (SGLD) have attracted considerable attention lately, as a way to provide convergence guarantees in a non-convex setting. However, the known rates grow exponentially with the dimension of the space. In this work, we provide a convergence analysis of GLD and SGLD when the optimization space is an infinite dimensional Hilbert space. More precisely, we derive non-asymptotic, dimension-free convergence rates for GLD/SGLD when performing regularized non-convex optimization in a reproducing kernel Hilbert space. Amongst others, the convergence analysis relies on the properties of a stochastic differential equation, its discrete time Galerkin approximation and the geometric ergodicity of the associated Markov chains.
研究动机与目标
- 解决现有GLD/SGLD收敛速率在有限维设置下随维度指数增长的局限性。
- 将收敛性分析扩展至再生核希尔伯特空间（RKHS）中的无限维优化问题。
- 在RKHS上非凸、正则化优化问题中，推导GLD与SGLD的非渐近、无维收敛界。
- 在无限维空间中建立时间离散化动力学的几何遍历性。
- 在无限维设置下，界定不变测度下期望目标值与全局最小值之间的距离。
提出的方法
- 采用谱伽辽金方法对无限维RKHS中的连续时间朗之万SDE进行离散化。
- 利用SPDE理论结果（Bréhier, 2014；Bréhier和Kopec, 2016）分析离散时间伽辽金格式的弱逼近误差。
- 通过李雅普诺夫函数技术和核算子的谱性质，证明时间离散化马尔可夫链的几何遍历性。
- 利用SDE的不变测度与吉布斯分布之间的联系，建立采样与优化之间的关联。
- 通过条件KL散度分解，建立SGLD与GLD过程之间的Wasserstein距离与KL散度界。
- 利用梯度与随机梯度的有界性与Lipschitz条件，控制SGLD与GLD轨迹之间的差异。
实验结果
研究问题
- RQ1在非凸优化中，GLD/SGLD是否能在无限维RKHS中实现无维收敛速率？
- RQ2当目标函数正则化且非凸时，RKHS中GLD/SGLD的非渐近收敛速率是什么？
- RQ3在无限维空间中，时间离散化动力学的几何遍历性如何影响收敛性？
- RQ4收敛速率对逆温度β和核谱的依赖关系如何？
- RQ5在无限维空间中，SGLD与GLD之间的差异如何通过KL散度与Wasserstein距离进行界定？
主要发现
- 本文推导出RKHS中GLD/SGLD的非渐近误差界，该界在时间跨度上一致且与维度无关。
- 收敛速率是无维的，显式依赖于β和核算子的谱衰减特性。
- 证明了时间离散化动力学的几何遍历性，这在无限维设置中是非平凡的。
- 在无限维设置下，不变测度下期望目标值与全局最小值之间的距离为O(1/β)。
- 通过KL散度，SGLD与GLD之间的差异被界定为O(βηk(ntr−nb)/(nb(ntr−1)))，在适当选择步长与小批量大小时该值较小。
- 分析表明，收敛速率在谱正则化下保持稳定，核的特征值取代了有限维界中维度的角色。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。