[论文解读] Incremental Stochastic Subgradient Algorithms for Convex Optimization

S. Sundhar Ram, Angelia Nedich+1 more|ArXiv.org|Jun 6, 2008

Stochastic Gradient Optimization Techniques参考文献 24被引用 15

一句话总结

本文提出了一种用于分布式网络中具有随机次梯度误差的去中心化凸优化的增量随机次梯度算法。它分析了两种方法——循环式与马尔可夫随机化增量次梯度——在递减步长下证明了几乎必然收敛性，并在恒定步长下推导出几乎必然误差界，适用于代理间随时间非齐次的马尔可夫切换，将先前工作扩展到具有时变拓扑和噪声次梯度的移动网络。

ABSTRACT

In this paper we study the effect of stochastic errors on two constrained incremental sub-gradient algorithms. We view the incremental sub-gradient algorithms as decentralized network optimization algorithms as applied to minimize a sum of functions, when each component function is known only to a particular agent of a distributed network. We first study the standard cyclic incremental sub-gradient algorithm in which the agents form a ring structure and pass the iterate in a cycle. We consider the method with stochastic errors in the sub-gradient evaluations and provide sufficient conditions on the moments of the stochastic errors that guarantee almost sure convergence when a diminishing step-size is used. We also obtain almost sure bounds on the algorithm's performance when a constant step-size is used. We then consider am{the} Markov randomized incremental subgradient method, which is a non-cyclic version of the incremental algorithm where the sequence of computing agents is modeled as a time non-homogeneous Markov chain. Such a model is appropriate for mobile networks, as the network topology changes across time in these networks. We establish the convergence results and error bounds for the Markov randomized method in the presence of stochastic errors for diminishing and constant step-sizes, respectively.

研究动机与目标

• 分析在每个代理仅了解目标函数一部分的去中心化网络中，随机误差对增量次梯度方法的影响。
• 将现有收敛结果扩展至适用于具有动态拓扑的移动网络的非循环、时变非齐次马尔可夫随机化增量次梯度方法。
• 在存在随机次梯度误差的情况下，建立递减步长下的几乎必然收敛性与恒定步长下的几乎必然误差界。
• 在无需完整网络拓扑知识的前提下提供性能保证，仅依赖于连通性假设。
• 通过在去中心化优化框架中引入随机误差和时变代理选择动态，推广先前工作。

提出的方法

• 将网络建模为去中心化系统，其中代理以环形（循环式）或遵循时变非齐次马尔可夫链的代理选择方式运行（马尔可夫随机化）。
• 使用增量次梯度更新，即每次仅一个代理根据其本地次梯度和随机误差模型更新迭代点。
• 应用递减步长规则，以确保在存在随机次梯度误差的情况下，几乎必然收敛到最优解。
• 采用恒定步长策略，通过随机误差的矩条件，推导出对次优性差距的几乎必然误差界。
• 通过引理1和引理7推导出基本迭代方程，以支持随机分析，利用标准技术推导收敛性和误差界。
• 提出一种新框架，使得性能边界可在无需完整网络转移矩阵知识的前提下计算，仅依赖于连通性和矩假设。

实验结果

研究问题

• RQ1 在何种随机次梯度误差条件下，循环式增量次梯度算法在使用递减步长时几乎必然收敛？
• RQ2 在恒定步长下，当存在随机次梯度误差时，循环式增量次梯度方法的几乎必然误差界是什么？
• RQ3 当代理选择序列是时变非齐次马尔可夫链时，马尔可夫随机化增量次梯度方法的收敛行为如何变化？
• RQ4 在恒定步长和随机次梯度误差下，能否为马尔可夫随机化方法推导出误差界，而无需完整掌握网络拓扑？
• RQ5 与假设误差自由次梯度和时齐马尔可夫链的先前结果相比，所提出的边界在结构和实用性上如何？

主要发现

• 在误差矩条件成立下，带有随机次梯度误差的循环式增量次梯度算法在使用递减步长时，几乎必然收敛到最优解。
• 对于使用恒定步长的循环方法，期望的次优性差距被一个涉及误差矩、可行集直径和步长的项所界定，且目标值的下确界具有几乎必然界。
• 即使在时变非齐次马尔可夫代理选择下，带有递减步长的马尔可夫随机化增量次梯度方法仍几乎必然收敛到最优解。
• 在恒定步长下，马尔可夫随机化方法实现了几乎必然误差界，其依赖于步长、误差矩界和网络直径，且包含α和β参数的闭式表达式。
• 推论10中的误差界在步长α趋近于零时收敛于零，证实了与递减步长收敛的一致性。
• 所提出的边界可在无需完整网络拓扑知识的前提下计算，与先前需要马尔可夫链转移矩阵结果相比，更适用于移动和动态网络。