[论文解读] A Partition-Based Implementation of the Relaxed ADMM for Distributed Convex Optimization over Lossy Networks

Nicola Bastianello, Todescato, Marco+2 more|arXiv (Cornell University)|Sep 26, 2018

Sparse and Compressive Sensing Techniques参考文献 28被引用 9

一句话总结

本文提出一种基于划分的松弛交替方向乘子法（R-ADMM），用于在丢包网络中进行分布式凸优化，其中每个代理的局部代价函数依赖于其自身及其邻居的状态。通过使用非扩张算子理论和松弛的Peaceman-Rachford分裂方法重构问题，该算法实现了可证明的收敛性与对独立同分布随机丢包的鲁棒性，并通过可调松弛参数 α 和惩罚参数 ρ 实现了更快的收敛速度。

ABSTRACT

In this paper we propose a distributed implementation of the relaxed Alternating Direction Method of Multipliers algorithm (R-ADMM) for optimization of a separable convex cost function, whose terms are stored by a set of interacting agents, one for each agent. Specifically the local cost stored by each node is in general a function of both the state of the node and the states of its neighbors, a framework that we refer to as `partition-based' optimization. This framework presents a great flexibility and can be adapted to a large number of different applications. We show that the partition-based R-ADMM algorithm we introduce is linked to the relaxed Peaceman-Rachford Splitting (R-PRS) operator which, historically, has been introduced in the literature to find the zeros of sum of functions. Interestingly, making use of non expansive operator theory, the proposed algorithm is shown to be provably robust against random packet losses that might occur in the communication between neighboring nodes. Finally, the effectiveness of the proposed algorithm is confirmed by a set of compelling numerical simulations run over random geometric graphs subject to i.i.d. random packet losses.

研究动机与目标

• 解决物联网和智能电网等大规模、不可靠网络中的分布式凸优化挑战。
• 开发一种即使在随机通信故障（丢包）下仍能保持收敛性和鲁棒性的分布式算法。
• 构建一个灵活的优化框架，其中每个代理的代价函数依赖于其自身及其邻居的状态——称为‘基于划分’的优化。
• 通过利用针对R-ADMM的定制化重构，实现内存和通信效率。
• 使用非扩张算子理论正式证明该算法对随机丢包的理论鲁棒性。

提出的方法

• 通过引入辅助变量和一致性约束，将基于划分的优化问题重构为适合松弛ADMM的形式。
• 将松弛的Peaceman-Rachford分裂（R-PRS）算子应用于对偶问题，借助非扩张算子理论将其与R-ADMM关联。
• 推导出一种分布式实现方式，其中每个节点仅与其邻居通信，从而最小化内存和通信开销。
• 引入松弛参数 α ∈ (0,1) 以加速收敛，当 α = 0.5 时退化为经典ADMM。
• 使用惩罚参数 ρ > 0 控制收敛速度与稳定性，在丢包通信条件下提供理论保证。
• 利用随机算子理论，正式证明即使在独立同分布随机丢包下，收敛性仍可保持。

实验结果

研究问题

• RQ1 基于ADMM的分布式算法是否能在通信链路存在随机独立同分布丢包的情况下维持收敛？
• RQ2 在丢包网络环境中，松弛参数 α 如何影响收敛速度与稳定性？
• RQ3 在通信故障存在的情况下，惩罚参数 ρ 对收敛速率与鲁棒性有何影响？
• RQ4 基于划分的优化框架能否以最小通信与内存开销高效实现分布式计算？
• RQ5 是否存在理论保证，使得R-ADMM在不可靠通信条件下仍保持收敛，而原始ADMM则不能？

主要发现

• 所提出的基于划分的R-ADMM对独立同分布随机丢包具有可证明的鲁棒性，其收敛区域与可靠通信下的情况保持不变。
• 在随机几何图上的数值仿真结果证实，当丢包概率高达 0.4 时，算法仍能收敛，且收敛区域无退化。
• 当松弛参数 α > 0.5（例如 α = 0.75）时，收敛速度优于经典ADMM（α = 0.5），且在稳定区域 0 < α < 1 内有效。
• 惩罚参数 ρ 可调节以加速收敛，仿真结果表明更高的 ρ 值可导致更快的误差衰减。
• 通过利用划分结构，该算法在通信与内存需求上低于朴素的R-ADMM实现。
• 基于非扩张算子理论的理论分析证实，对于所有 α ∈ (0,1) 和 ρ > 0，即使在随机通信故障下，算法仍能保持收敛。