[论文解读] Distributed Stochastic Approximation Algorithm With Expanding Truncations: Algorithm and Applications

Jinlong Lei, Han-Fu Chen|arXiv (Cornell University)|Oct 27, 2014

Distributed Control Multi-Agent Systems参考文献 47被引用 6

一句话总结

该论文提出了一种用于多智能体网络的分布式随机逼近算法（DSAAWET），通过扩展截断机制，在弱于以往工作的条件下求解多个局部函数之和的根。通过自适应扩展截断边界并使用递减步长，该算法确保了智能体估计值以概率1收敛至全局函数根集内的共识集合，且无需假设Lipschitz连续性或鞅差噪声。

ABSTRACT

In the paper, a novel distributed stochastic approximation algorithm (DSAA) is proposed to seek roots of the sum of local functions, each of which is associated with an agent from the multiple agents connected in a network. At any time, each agent updates its estimate for the root utilizing the observation of its local function and the information derived from the neighboring agents. The key difference of the proposed algorithm from the existing ones consists in the expanding truncations (so it is called as DSAAWET), by which the boundedness of the estimates can be guaranteed without imposing the growth rate constraints on the local functions. The convergence of the estimates generated by DSAAWET to a consensus set belonging to the root set of the sum function is shown under weaker conditions on the local functions and on the observation noise in comparison with the existing results. We illustrate our approach by two applications, one from signal processing and the other one from distributed optimization. Numerical simulation results are also included.

研究动机与目标

• 解决现有分布式随机逼近算法存在的局限性，这些算法要求强假设，如局部函数的全局Lipschitz连续性和鞅差序列（MDS）噪声。
• 通过引入一种新颖的截断机制，实现在局部函数快速增长或噪声非严格MDS的分布式根搜索问题中的收敛性。
• 在弱增长和噪声条件下，建立智能体估计值以概率1收敛至全局和函数根集内的共识集合。
• 将适用范围扩展至分布式主成分分析和无梯度优化等难题，这些领域中先前方法因假设过严而失效。

提出的方法

• 提出一种分布式随机逼近算法（DSAAWET），其中每个智能体通过本地有噪声的观测值以及邻居的信息，在切换网络拓扑上更新其估计值。
• 引入扩展截断机制：当估计值超过当前边界时，将其重新初始化为初始值，并增大边界，从而防止估计值无界增长。
• 结合递减步长与扩展截断机制，以确保稳定性与收敛性，其效果类似于重复重新初始化但步长更小、边界更大。
• 利用李雅普诺夫型论证与弱假设下局部函数和噪声的稳定性分析，证明截断过程的收敛性。
• 将状态向量分解为共识分量与偏差分量，以分析网络中的收敛行为。
• 通过递推不等式与压缩映射论证，证明偏差分量随时间衰减，从而实现对根集的共识。

实验结果

研究问题

• RQ1 是否可以在不施加严格的连续性或增长约束的前提下，使分布式随机逼近对局部函数增长和非MDS噪声具有鲁棒性？
• RQ2 扩展截断机制是否能确保在具有切换拓扑的分布式多智能体网络中，智能体估计值的有界性与收敛性？
• RQ3 所提出的算法是否能在弱于以往工作的假设下，实现对全局和函数根集内共识集合的几乎必然收敛？
• RQ4 DSAAWET在分布式主成分分析和无梯度优化等实际问题中的适用范围有多大？
• RQ5 当噪声非MDS且局部函数非全局Lipschitz时，收敛性的理论保证是什么？

主要发现

• DSAAWET生成的估计值以概率1收敛至全局和函数根集的子集构成的共识集合。
• 扩展截断机制确保了估计值的有界性，且无需对局部函数施加全局Lipschitz连续性或增长速率约束。
• 该算法不要求观测噪声为鞅差序列，从而放宽了以往工作中的关键假设。
• 与[13]相比，该方法在更弱的条件下建立了收敛性，包括非MDS噪声和非Lipschitz局部函数。
• 该方法成功应用于分布式主成分分析和分布式无梯度优化，两种情形下均证明了几乎必然收敛。
• 数值仿真验证了理论结果，并展示了该算法在实际场景中的鲁棒性与有效性。