[论文解读] A Distributed Algorithm for Least Square Solutions of Linear Equations

Xuan Wang, Jingqiu Zhou+2 more|arXiv (Cornell University)|Sep 28, 2017

Distributed Control Multi-Agent Systems参考文献 36被引用 11

一句话总结

该论文提出了一种用于多智能体网络的分布式离散时间算法，以计算线性方程组的精确最小二乘解，其中每个智能体仅持有方程组的一部分，并仅与邻居通信。该算法在固定网络拓扑下，通过一种新颖的矩阵加权一致性框架，确保以指数速度收敛到全局最小二乘解，而无需使用小步长或时变步长。

ABSTRACT

A distributed discrete-time algorithm is proposed for multi-agent networks to achieve a common least squares solution of a group of linear equations, in which each agent only knows some of the equations and is only able to receive information from its nearby neighbors. For fixed, connected, and undirected networks, the proposed discrete-time algorithm results in each agents solution estimate to converging exponentially fast to the same least squares solution. Moreover, the convergence does not require careful choices of time-varying small step sizes.

研究动机与目标

• 开发一种分布式算法，使网络中的智能体能够协作计算全局线性方程组的精确最小二乘解。
• 确保在不依赖时变或小步长的情况下实现对解的指数收敛，这与现有方法中的常见做法形成对比。
• 通过仅使用本地信息和邻居通信，保持算法的可扩展性和鲁棒性。
• 克服先前基于一致性方法的局限性，这些方法要么无法实现精确解，要么需要仔细调节参数。
• 将分布式算法的适用范围扩展到超定系统，这类系统在传感器网络和信号处理等工程应用中极为常见。

提出的方法

• 该算法采用矩阵加权一致性框架，其中每个智能体维护一个表示其解估计的状态向量。
• 每个智能体基于自身方程的局部梯度下降步长和一个使估计与邻居对齐的一致性项来更新其状态。
• 更新规则结合了固定常数步长和矩阵加权拉普拉斯矩阵，以确保收敛到最小二乘解。
• 收敛性分析依赖于一个变换后的系统矩阵 Q，其谱性质被分析以证明指数稳定性。
• 一个关键组成部分是使用对角矩阵形式的逆度矩阵（κi = 1/di）作为一致性项中的权重，以确保信息交换的平衡性。
• 理论证明表明，系统矩阵 Q 的特征值 1 具有几何重数和代数重数均为一，从而确保指数收敛。

实验结果

研究问题

• RQ1 能否设计一种分布式算法，在无需使用时变或小步长的情况下，实现对超定线性系统的精确最小二乘解？
• RQ2 在固定、无向且连通的网络中，智能体如何仅利用本地信息和邻居信息，实现对共同最小二乘解的指数快速收敛？
• RQ3 网络结构和更新规则的哪些特性能够同时保证收敛性和解的精确性？
• RQ4 是否可能消除分布式最小二乘求解器中对集中式协调器或全局参数调优的需求？
• RQ5 权重选择（如逆度）如何影响分布式算法的收敛速度和稳定性？

主要发现

• 所提出的算法可实现对任意固定、连通、无向网络拓扑的精确最小二乘解的指数收敛。
• 对于任意常数步长 c ≥ 0 和任意正标量 c̄，收敛性均能保证，从而消除了对时变或小步长的需求。
• 该算法确保所有智能体的状态估计均收敛到相同的全局最小二乘解，即使方程组为超定系统。
• 理论分析证明，系统矩阵 Q 在特征值 1 处具有单重特征值，且几何重数与代数重数均为一，从而确保指数稳定性。
• 该方法具有可扩展性和鲁棒性，因为每个智能体仅使用自身方程和邻近节点的信息，无需全局协调。
• 数值仿真验证了理论收敛速率，并在各种网络配置下确认了该算法的性能。