[论文解读] Asynchronous Stochastic Quasi-Newton MCMC for Non-Convex Optimization

Umut Şimşekli, Çağatay Yıldız+3 more|arXiv (Cornell University)|Jun 7, 2018

Markov Chains and Monte Carlo Methods参考文献 8被引用 17

一句话总结

该论文提出了一种用于非凸优化的异步随机L-BFGS算法，利用随机梯度马尔可夫链蒙特卡洛（SG-MCMC）方法实现无需同步的并行、去中心化更新。该方法实现了$\mathcal{O}(1/\sqrt{N})$的遍历收敛速率，并在分布式设置中表现出线性加速，在真实世界矩阵分解任务中优于同步版本。

ABSTRACT

Recent studies have illustrated that stochastic gradient Markov Chain Monte Carlo techniques have a strong potential in non-convex optimization, where local and global convergence guarantees can be shown under certain conditions. By building up on this recent theory, in this study, we develop an asynchronous-parallel stochastic L-BFGS algorithm for non-convex optimization. The proposed algorithm is suitable for both distributed and shared-memory settings. We provide formal theoretical analysis and show that the proposed method achieves an ergodic convergence rate of ${\cal O}(1/\sqrt{N})$ ($N$ being the total number of iterations) and it can achieve a linear speedup under certain conditions. We perform several experiments on both synthetic and real datasets. The results support our theory and show that the proposed algorithm provides a significant speedup over the recently proposed synchronous distributed L-BFGS algorithm.

研究动机与目标

• 解决同步并行L-BFGS在分布式优化中因协调开销导致的效率低下问题。
• 将随机L-BFGS扩展到异步设置，以提高大规模非凸问题的计算效率。
• 开发一种理论基础扎实的方法，在异步环境下仍能保持收敛保证。
• 实现在异构、大规模集群上部署，支持不同速度的计算节点。
• 在真实数据集上，与同步和随机梯度基线相比，展示出更优的收敛性能和加速效果。

提出的方法

• 将非凸优化问题重新表述为贝叶斯采样任务，目标是使后验分布的众数集中在最优解处。
• 采用SG-MCMC框架，推导出基于随机梯度的更新规则，通过有限内存BFGS更新近似逆Hessian矩阵。
• 通过允许工作进程独立采样小批量数据并更新Hessian近似，而无需同步，实现异步更新。
• 使用无偏的随机梯度估计器$\nabla\tilde{U}(\theta)$，其基于数据的随机子集计算得出。
• 通过在Hessian近似$H_n$上添加微小的$\rho I$正则化项，保持数值稳定性。
• 集成预处理的朗之万动力学步骤，确保在异步更新下仍能收敛到目标分布。

实验结果

研究问题

• RQ1 能否在保持收敛保证的前提下，将随机L-BFGS有效扩展到异步、分布式架构？
• RQ2 在非凸设置下，异步随机L-BFGS方法的理论收敛速率是多少？
• RQ3 在实际分布式条件下，所提方法是否在工作节点数量上实现线性加速？
• RQ4 在真实世界非凸问题中，异步L-BFGS的性能与同步和随机梯度基线相比如何？
• RQ5 异步引起的延迟和陈旧梯度对收敛性和解的质量有何影响？

主要发现

• 所提出的as-L-BFGS算法实现了$\mathcal{O}(1/\sqrt{N})$的遍历全局收敛速率，其中$N$为总迭代次数。
• 在理想条件下，该算法在工作节点数量上实现了线性加速，已在ML-1M数据集上验证至10个工作节点。
• 在MovieLens数据集上，as-L-BFGS在最终RMSE上优于同步的mb-L-BFGS，表明其在存在更高梯度波动的情况下仍能更有效地搜索局部最优解。
• 该算法在大规模矩阵分解任务（100万至2000万条评分）中，相较于同步的mb-L-BFGS表现出显著加速。
• 当工作节点数增至20时，由于$l_{\text{max}}h$项占主导地位，系统出现不稳定，需减小学习率并延长训练时间。
• 在真实数据上，异步变体的收敛速度与a-SGD相当或更快，表明尽管每步计算成本更高，L-BFGS的曲率信息仍能提供性能优势。