[论文解读] Distributed Stochastic Subgradient Projection Algorithms for Convex Optimization

S. Sundhar Ram, Angelia Nedich+1 more|ArXiv.org|Nov 16, 2008

Distributed Control Multi-Agent Systems参考文献 17被引用 38

一句话总结

本文提出了一种用于具有公共约束集的多智能体凸优化的分布式随机次梯度投影算法，其中智能体通过与邻居通信进行一致性计算，利用本地次梯度信息（含随机误差）迭代更新其估计值。主要贡献在于证明了当次梯度误差和步长足够快地衰减时，算法几乎必然收敛至最优解，且智能体之间实现均值一致性。

ABSTRACT

We consider a distributed multi-agent network system where the goal is to minimize a sum of convex objective functions of the agents subject to a common convex constraint set. Each agent maintains an iterate sequence and communicates the iterates to its neighbors. Then, each agent combines weighted averages of the received iterates with its own iterate, and adjusts the iterate by using subgradient information (known with stochastic errors) of its own function and by projecting onto the constraint set. The goal of this paper is to explore the effects of stochastic subgradient errors on the convergence of the algorithm. We first consider the behavior of the algorithm in mean, and then the convergence with probability 1 and in mean square. We consider general stochastic errors that have uniformly bounded second moments and obtain bounds on the limiting performance of the algorithm in mean for diminishing and non-diminishing stepsizes. When the means of the errors diminish, we prove that there is mean consensus between the agents and mean convergence to the optimum function value for diminishing stepsizes. When the mean errors diminish sufficiently fast, we strengthen the results to consensus and convergence of the iterates to an optimal solution with probability 1 and in mean square.

研究动机与目标

• 为多智能体网络设计一种分布式优化算法，其中每个智能体对其局部目标函数仅有部分且含噪声的知识。
• 分析具有二阶矩有界的随机次梯度误差对分布式凸优化收敛性的影响。
• 建立智能体实现均值一致性并以概率1和均方意义下收敛至最优解的条件。
• 将先前关于分布式无约束优化的工作扩展至具有随机次梯度评估的约束情形。
• 提供由于随机误差和网络结构导致性能退化的显式边界。

提出的方法

• 智能体在同步、无延迟的网络模型下维护本地迭代序列，并将其与邻居通信。
• 每个智能体对其自身迭代值和从邻居接收的迭代值执行加权平均。
• 智能体使用其局部目标函数的随机次梯度更新迭代值，并将结果投影到公共凸约束集上。
• 该算法使用递减或非递减的步长，并考虑次梯度误差，其二阶矩有统一有界性。
• 分析利用了随机逼近、一致性理论以及针对非独立同分布误差过程的李雅普诺夫稳定性工具。
• 关键组成部分包括次梯度误差建模、约束集上的投影，以及在随机扰动下的一致性动力学。

实验结果

研究问题

• RQ1 当次梯度评估受随机误差污染时，分布式智能体在何种条件下实现均值一致性？
• RQ2 随机次梯度误差的二阶矩有界性如何影响分布式优化算法的极限性能？
• RQ3 次梯度误差均值和步长的衰减速率需满足何种条件，才能保证几乎必然收敛至最优解？
• RQ4 网络拓扑结构和约束集如何影响收敛速度与误差边界？
• RQ5 当误差和步长足够快地衰减时，该算法能否同时实现一致性与对最优解的收敛？

主要发现

• 对于递减步长和均值趋于零的次梯度误差，算法实现了智能体之间的均值一致性，并实现对最优目标函数值的均值收敛。
• 当误差均值足够快地衰减且步长适当地减小，迭代值以概率1收敛至同一最优解。
• 在常数步长情况下，与最优值的期望偏差以 $1/t$ 的速率衰减，其中 $t$ 为迭代次数。
• 性能边界按 $\alpha (\max_i \{C_i + \nu_i\})^2 m^4$ 规模化，其中 $m$ 为智能体数量，$\alpha$ 为步长上限，$C_i$ 和 $\nu_i^2$ 分别为次梯度范数和误差二阶矩的上界。
• 即使步长不完全相同，结果依然成立，尽管此时最小化的目标函数变为局部函数的加权和而非未加权和。
• 分析考虑了误差在智能体和时间上的传播，表明由于随机次梯度误差，迭代值之间存在统计依赖性。