[论文解读] A primal-dual method for conic constrained distributed optimization problems

Necdet Serhat Aybat, Erfan Yazdandoost Hamedani|arXiv (Cornell University)|Jul 8, 2016

Distributed Control Multi-Agent Systems被引用 7

一句话总结

该论文提出了一种用于具有锥约束的网络分布式优化的原始-对偶算法，通过本地计算和邻居间通信实现大规模凸问题的去中心化求解。其在次优性、不可行性和一致性违反方面均实现了 O(1/k) 的收敛速率，相较于此类问题的先前方法，收敛速度更优。

ABSTRACT

We consider cooperative multi-agent consensus optimization problems over an undirected network of agents, where only those agents connected by an edge can directly communicate. The objective is to minimize the sum of agent-specific composite convex functions over agent-specific private conic constraint sets; hence, the optimal consensus decision should lie in the intersection of these private sets. We provide convergence rates both in sub-optimality, infeasibility and consensus violation; examine the effect of underlying network topology on the convergence rates of the proposed decentralized algorithms; and show how to extend these methods to handle time-varying communications networks and to solve problems with resource sharing constraints.

研究动机与目标

• 开发一种去中心化算法，用于求解具有代理特定锥约束的大规模凸优化问题，其中仅允许相邻代理之间通信。
• 在静态和时变网络拓扑下，确保在次优性、不可行性和一致性违反方面的收敛性。
• 将方法扩展以处理全局资源共享约束，从而能够求解同时包含局部和全局决策变量的问题。
• 通过避免集中式数据聚合，保护隐私并降低通信和内存开销。
• 在分布式机器学习问题（如 SVM 和 LASSO）上验证该方法的有效性，且数据具有隐私性。

提出的方法

• 将问题表述为网络中各代理的原始-对偶鞍点问题，每个代理具有局部复合凸目标函数及私有锥约束。
• 采用基于交替方向乘子法（ADMM）的原始-对偶算法，结合本地更新和对偶一致性步骤。
• 对非光滑分量使用高效的近端映射，并对锥集进行投影，避免代价高昂的原像投影。
• 提出两种变体：DPDA-S 用于静态网络，DPDA-D 用于时变网络，两者均保持本地计算和邻居间通信。
• 通过双重一致性迭代强制网络中共享变量的一致性，同时通过锥投影处理全局约束。
• 通过分析原始-对偶间隙、不可行性和一致性误差，推导收敛速率，证明其具有 O(1/k) 的收敛性。

实验结果

研究问题

• RQ1 原始-对偶方法是否能在仅使用本地计算和仅与邻居通信的条件下，实现分布式锥约束优化的 O(1/k) 收敛？
• RQ2 网络拓扑，特别是代数连通性，如何影响去中心化算法的收敛速率？
• RQ3 该方法能否扩展至处理时变通信网络，同时保持收敛性保证？
• RQ4 该算法在真实世界问题（如具有私有数据的分布式 SVM 和 LASSO）上的表现如何？
• RQ5 该方法能否同时处理局部锥约束和全局资源共享约束？

主要发现

• 所提出的 DPDA-S 和 DPDA-D 算法在次优性、不可行性和一致性违反方面均实现了 O(1/k) 的收敛速率，这是该类问题的最优收敛速率。
• 数值实验表明，提高网络的代数连通性可加快收敛速度，次优性和一致性违反的衰减更迅速。
• 在分布式 SVM 问题中，该算法实现了与集中式 SVM 相当的性能，同时保护了数据隐私并降低了通信开销。
• 该方法能有效处理局部锥约束（如半正定性）和全局资源共享约束（如变量之和属于某锥）。
• 在低连通性拓扑（代数连通性较低）下，该算法相较于现有去中心化方法展现出更快的收敛速度。
• 可视化对比结果表明，DPDA-S 收敛至与集中式 SVM 相同的解，而本地 SVM 无法在共享参数上达成一致。