[论文解读] Communication-Efficient Algorithms For Distributed Optimization

Mota, João F. C.|arXiv (Cornell University)|Dec 1, 2013

Distributed Control Multi-Agent Systems参考文献 208被引用 4

一句话总结

该论文提出了一种通信高效的分布式优化算法，适用于每个节点持有局部代价函数并协同最小化其总和的网络。通过一种新颖的分类方案利用函数依赖关系中的稀疏性，作者设计了基于ADMM的算法，显著减少了通信轮次，在一致性、支持向量机、压缩感知和模型预测控制等任务中表现出优于先前方法的性能。

ABSTRACT

This thesis is concerned with the design of distributed algorithms for solving optimization problems. We consider networks where each node has exclusive access to a cost function, and design algorithms that make all nodes cooperate to find the minimum of the sum of all the cost functions. Several problems in signal processing, control, and machine learning can be posed as such optimization problems. Given that communication is often the most energy-consuming operation in networks, it is important to design communication-efficient algorithms. The main contributions of this thesis are a classification scheme for distributed optimization and a set of corresponding communication-efficient algorithms. The class of optimization problems we consider is quite general, since each function may depend on arbitrary components of the optimization variable, and not necessarily on all of them. In doing so, we go beyond the common assumption in distributed optimization and create additional structure that can be used to reduce the number of communications. This structure is captured by our classification scheme, which identifies easier instances of the problem, for example the standard distributed optimization problem, where all functions depend on all the components of the variable. In our algorithms, no central node coordinates the network, all the communications occur between neighboring nodes, and the data associated with each node is processed locally. We show several applications including average consensus, support vector machines, network flows, and several distributed scenarios for compressed sensing. We also propose a new framework for distributed model predictive control. Through extensive numerical experiments, we show that our algorithms outperform prior distributed algorithms in terms of communication-efficiency, even some that were specifically designed for a particular application.

研究动机与目标

• 通过最小化节点间消息数量来解决分布式优化中的高通信成本问题。
• 设计一种通用的分布式优化框架，其中每个函数仅依赖于变量的子集，从而能够利用结构特性。
• 设计通信高效的算法，保持完全分布式（无中心协调），并在每个节点上实现本地处理。
• 基于变量依赖结构，提出一种分布式优化问题的分类方案，以识别更易求解的实例。
• 在平均一致性、支持向量机、网络流和压缩感知等多种应用中验证该方法的有效性。

提出的方法

• 通过分块结构变量和一致性约束，对分布式优化问题进行重新表述。
• 将两块ADMM应用于重表述后的问题，通过在原始变量和对偶变量上交替最小化实现分布式更新。
• 利用变量稀疏性（即每个函数仅依赖于部分分量）来分解子问题并减少通信开销。
• 通过利用对称性和成对约束，推导出对偶变量的闭式更新，将对偶更新简化为仅依赖于本地和邻居估计的形式。
• 引入新的对偶变量聚合形式 γ(p),k_l = ∑_{j∈Np∩Vl} λpj,k_l，以降低通信开销并支持高效本地更新。
• 利用恒等式 z{p,j},k+1_l = (x(p),k+1_l + x(j),k+1_l)/2 简化一致性约束，减少所需消息数量。

实验结果

研究问题

• RQ1 如何利用局部代价函数的依赖结构来减少分布式优化中的通信开销？
• RQ2 能否基于变量稀疏性设计一种分布式优化问题的分类方案，且该分类是否能带来更高效的算法？
• RQ3 当函数仅依赖于变量子集时，ADMM-based算法在多大程度上可被简化并实现通信高效？
• RQ4 与现有最先进的通信高效方法相比，所提算法在收敛速度和消息数量方面表现如何？
• RQ5 该框架能否应用于支持向量机、压缩感知和分布式模型预测控制等实际问题，并实现更高的效率？

主要发现

• 所提算法所需的通信轮次少于现有分布式优化方法，包括为特定应用专门设计的方法。
• 分类方案能够识别出更简单的实例（如完全耦合问题），从而支持定制化、更高效的算法。
• 通过对偶变量采用对称初始化，确保对偶更新简化为 z{p,j},k+1_l = (x(p),k+1_l + x(j),k+1_l)/2，从而降低通信复杂度。
• 通过在平均一致性与支持向量机上的大量数值实验验证，该算法实现了显著减少的消息传递与收敛性能。
• 该框架通过将问题重构为所提出的优化结构，实现了高效的分布式模型预测控制。
• 推导出的聚合对偶变量更新式 γ(p),k+1_l = γ(p),k_l + (ρ/2) ∑_{j∈Np∩Vl} (x(p),k+1_l - x(j),k+1_l) 支持本地计算，减少了对全局协调的依赖。