[论文解读] Distributed Stochastic Approximation Algorithm With Expanding Truncations

Jinlong Lei, Han-Fu Chen|arXiv (Cornell University)|Oct 27, 2014

Neural Networks Stability and Synchronization被引用 2

一句话总结

本文提出了一种用于多智能体网络的分布式随机逼近算法（DSAAWET），通过使用扩展截断技术，可在不施加局部函数增长速率约束的条件下，确保估计值有界，并在弱于以往工作的条件下，实现几乎必然收敛至全局函数根集内的共识集合。

ABSTRACT

In this paper, a novel distributed stochastic approximation algorithm (DSAA) is proposed to seek roots of the sum of local functions, each of which is associated with an agent from multiple agents connected over a network. At each iteration, each agent updates its estimate for the root utilizing the noisy observations of its local function and the information derived from the neighboring agents. The key difference of the proposed algorithm from the existing ones consists in the expanding truncations (so it is called the DSAAWET), by which the boundedness of the estimates can be guaranteed without imposing the growth-rate constraints on the local functions. The estimates generated by the DSAAWET are shown to converge almost surely to a consensus set, which belongs to a connected subset of the root set of the sum function. In comparison with the existing results, we impose weaker conditions on the local functions and on the observation noise. We then apply the proposed algorithm to two applications, one from signal processing and the other one from distributed optimization, and establish the almost sure convergence. Numerical simulation results are also included.

研究动机与目标

• 解决多智能体网络中分布式根查找问题，其中每个智能体仅能访问其局部函数。
• 消除现有分布式随机逼近算法中通常所需的对局部函数增长速率的严格约束。
• 通过一种新颖的扩展截断机制，确保估计值有界，且无需预先了解函数增长特性。
• 在对局部函数和噪声的假设更弱的条件下，实现几乎必然收敛至全局和函数根集内的共识集合。

提出的方法

• 提出一种分布式随机逼近算法（DSAAWET），其中每个智能体通过使用带有噪声的局部观测值以及来自邻居的信息来更新其估计值。
• 引入随迭代动态扩展的截断机制，以在不依赖函数增长先验知识的前提下，对估计值进行有界控制。
• 采用基于共识的更新规则，通过时变网络拓扑结构将本地估计值与邻居信息相结合。
• 采用递减步长序列以确保收敛性，同时通过扩展截断机制维持稳定性。
• 利用基于鞅差序列的随机逼近理论和几乎必然收敛技术进行收敛性分析。
• 证明收敛结果为位于全局和函数根集的连通子集内的共识集合。

实验结果

研究问题

• RQ1 是否能够设计一种分布式随机逼近算法，在不施加对局部函数增长速率约束的条件下，实现对和函数根集的几乎必然收敛？
• RQ2 在不依赖对函数行为先验知识的前提下，如何保证分布式随机逼近中估计值的有界性？
• RQ3 扩展截断机制对收敛特性及多智能体系统抗噪声能力有何影响？
• RQ4 所提出的算法能否有效应用于实际问题，如信号处理和分布式优化？

主要发现

• DSAAWET算法确保了智能体估计值几乎必然收敛至全局和函数根集的子集内的共识集合。
• 扩展截断机制在不需对局部函数施加增长速率约束的前提下，保证了估计值的有界性。
• 与现有分布式随机逼近方法相比，对局部函数和观测噪声的假设更弱。
• 该算法成功应用于信号处理和分布式优化问题，并在两种情况下均建立了理论收敛性。
• 数值仿真验证了理论结果，表明在各种网络结构和噪声条件下，算法表现出稳定且收敛的行为。