[论文解读] Distributed Least-Squares Iterative Methods in Networks: A Survey

Lei Shi, Liang Zhao+4 more|arXiv (Cornell University)|Jun 21, 2017

Sparse and Compressive Sensing Techniques参考文献 28被引用 6

一句话总结

本综述对大规模网络中分布式最小二乘迭代方法进行了全面分析，重点研究了D-RLS、共轭梯度及基于一致性策略的迭代算法。它评估了这些方法在网状网络中的通信开销和完成时间，首次系统性地比较了适用于分布式网络物理系统的这些方法。

ABSTRACT

Many science and engineering applications involve solving a linear least-squares system formed from some field measurements. In the distributed cyber-physical systems (CPS), often each sensor node used for measurement only knows partial independent rows of the least-squares system. To compute the least-squares solution they need to gather all these measurement at a centralized location and then compute the solution. These data collection and computation are inefficient because of bandwidth and time constraints and sometimes are infeasible because of data privacy concerns. Thus distributed computations are strongly preferred or demanded in many of the real world applications e.g.: smart-grid, target tracking etc. To compute least squares for the large sparse system of linear equation iterative methods are natural candidates and there are a lot of studies regarding this, however, most of them are related to the efficiency of centralized/parallel computations while and only a few are explicitly about distributed computation or have the potential to apply in distributed networks. This paper surveys the representative iterative methods from several research communities. Some of them were not originally designed for this need, so we slightly modified them to suit our requirement and maintain the consistency. In this survey, we sketch the skeleton of the algorithm first and then analyze its time-to-completion and communication cost. To our best knowledge, this is the first survey of distributed least-squares in distributed networks.

研究动机与目标

• 解决由于带宽、时延和数据隐私限制，集中式最小二乘计算在大规模网络物理系统（CPS）中效率低下且不可行的问题。
• 识别并适配代表性迭代方法（如RLS、共轭梯度及一致性/扩散策略），以实现在网状网络中的分布式计算。
• 从通信开销和完成时间的角度评估这些分布式算法的性能，这对实时和资源受限网络至关重要。
• 提供一个统一的框架，用于比较分布式迭代求解器，突出收敛速度、通信开销与网络中断鲁棒性之间的权衡。

提出的方法

• 通过在节点间沿顺序路径传递的方式，将递归最小二乘（RLS）算法改写为分布式形式（D-RLS），每个节点处理其本地数据块，并将状态变量传递给下一节点。
• 采用哈密顿路径遍历方式，实现在节点间顺序更新解估计值和逆相关矩阵，每轮迭代仅需一次通信跳变，从而最小化通信开销。
• 将系统建模为分块线性最小二乘问题，其中每个节点持有矩阵A和向量b的行子集，全局解通过迭代计算获得，无需完整数据聚合。
• 将通信开销建模为每轮周期(n + n²)(N−1)，其中n为解的维度，N为节点数，基于状态向量和协方差矩阵的传输。
• 假设每轮迭代中每个节点仅需一次通信步骤，完成时间评估为(n + n²)(N−1)，收敛可在单次网络周期内实现。
• 将传统迭代方法（如共轭梯度）与基于一致性及扩散的策略进行比较，强调分布式环境中局部通信与全局洪泛之间的差异。

实验结果

研究问题

• RQ1 如何在不集中收集数据的前提下，高效计算大规模分布式网络中的最小二乘解？
• RQ2 在网状网络中，D-RLS、共轭梯度及基于一致性的算法等分布式迭代方法的通信开销和完成时间成本是多少？
• RQ3 从收敛速度和通信开销的角度来看，分布式迭代求解器的性能特征如何比较？
• RQ4 传统迭代方法依赖全局洪泛与基于一致性/扩散的策略依赖局部通信之间存在哪些权衡？
• RQ5 这些分布式算法在真实网络中的数据丢失情况下有多强的鲁棒性，特别是在智能电网等实时应用中？

主要发现

• D-RLS算法可在单次网络周期内收敛，总通信开销为(n + n²)(N−1)，其中n为解的维度，N为节点数。
• D-RLS的完成时间为(n + n²)(N−1)，主要由状态变量在节点间的顺序传播决定。
• 基于一致性和扩散的策略仅需局部通信，相比传统迭代方法显著减少了网络范围内的洪泛。
• 对于大规模网络，基于一致性和扩散的方法可能需要比集中式或顺序方法更多的迭代次数才能收敛，但具有更好的可扩展性和容错能力。
• 本综述指出，数据丢失容忍能力是一个关键的开放挑战，因为在智能电网等实时系统中重传通常不可行。
• 这是首个系统性地从通信开销和完成时间角度，对比网状网络中分布式最小二乘迭代方法的全面综述。