[论文解读] Efficient Information Aggregation Strategies for Distributed Control and Signal Processing

Alexander Olshevsky|arXiv (Cornell University)|Sep 30, 2010

Distributed Control Multi-Agent Systems参考文献 94被引用 29

一句话总结

本文提出了一类新颖的、可证明最优的分布式平均算法，适用于大规模时变拓扑且通信受限的网络。该工作提出了一种快速收敛协议，实现ε-精度的时延复杂度为O(n³ log(nε))，建立了收敛时间的理论下界Ω(n³)，并设计了量化通信与固定比特通信的变体以支持实际部署，从而在去中心化系统中实现高效的分布式控制与信号处理。

ABSTRACT

This thesis is concerned with distributed control and coordination of networks consisting of multiple, potentially mobile, agents. This is motivated mainly by the emergence of large scale networks characterized by the lack of centralized access to information and time-varying connectivity. Control and optimization algorithms deployed in such networks should be completely distributed, relying only on local observations and information, and robust against unexpected changes in topology such as link failures. We will describe protocols to solve certain control and signal processing problems in this setting. We will demonstrate that a key challenge for such systems is the problem of computing averages in a decentralized way. Namely, we will show that a number of distributed control and signal processing problems can be solved straightforwardly if solutions to the averaging problem are available. The rest of the thesis will be concerned with algorithms for the averaging problem and its generalizations. We will (i) derive the fastest known averaging algorithms in a variety of settings and subject to a variety of communication and storage constraints (ii) prove a lower bound identifying a fundamental barrier for averaging algorithms (iii) propose a new model for distributed function computation which reflects the constraints facing many large-scale networks, and nearly characterize the general class of functions which can be computed in this model.

研究动机与目标

• 解决在大规模、去中心化网络中，因时变连通性且无中心协调机制下的高效信息聚合挑战。
• 设计适用于分布式控制与信号处理应用的快速、鲁棒且通信高效的平均算法。
• 确定在动态网络中平均算法收敛速度的根本极限。
• 设计在严格通信约束下运行的协议，包括量化通信与每链路固定比特传输。
• 提供一个统一的框架，用于在具有现实约束的大规模网络中实现分布式函数计算。

提出的方法

• 提出一种分布式平均协议，其中每个节点维护一个本地状态，并在每个时间步通过与随机选择的邻居进行两两平均来更新该状态。
• 提出一种新算法，实现几何收敛速率1 − c/n³，确保初始值在[0,1]范围内时，可在O(n³ log(nε))时间内达到ε-精度。
• 利用图论与矩阵分析工具（包括随机矩阵的谱性质）分析在时变通信图下的收敛性。
• 在一般连通性假设下，证明任意分布式平均算法的收敛时间下界为Ω(n³)。
• 设计一种量化平均协议，即使在有限精度下也能保持精度，其误差界依赖于量化级别。
• 引入区间平均技术，仅使用每链路常数比特即可计算最大值及其他函数，从而实现高效的分布式函数计算。

实验结果

研究问题

• RQ1 在任意但连通的时变网络中，分布式平均的最快可能收敛速率是多少？
• RQ2 我们能否设计对链路故障和时变通信模式具有鲁棒性的分布式平均算法？
• RQ3 在最小假设条件下，分布式平均算法的收敛速度存在哪些根本极限？
• RQ4 如何仅使用每通信链路常数个比特，实现分布式函数计算（尤其是平均与最大值跟踪）？
• RQ5 量化对分布式平均算法的精度与收敛性有何影响？

主要发现

• 所提算法在初始值属于[0,1]的条件下，可在O(n³ log(nε))时间内收敛至平均值，几何收敛速率为1 − c/n³。
• 在一般连通性假设下，证明了任意分布式平均算法的收敛时间存在Ω(n³)的根本下界。
• 该算法对时变拓扑具有鲁棒性，包括链路故障与延迟，只要网络在时间区间内保持连通即可。
• 设计了一种量化平均协议，其误差界为O(1/Q)，其中Q为量化级别，确保收敛至真实平均值的邻域内。
• 提出一种固定比特通信协议，仅使用每链路常数个比特即可实现最大值及其他函数的分布式计算。
• 区间平均技术使得在严格带宽约束下，仍能以最小通信开销高效且准确地实现最大值、平均值等函数的分布式计算。