[论文解读] Distributed dual gradient methods and error bound conditions

Ion Necoara, Valentin Nedelcu|arXiv (Cornell University)|Jan 17, 2014

Stochastic Gradient Optimization Techniques参考文献 19被引用 9

一句话总结

本文提出了一种用于线性约束可分凸优化的分布式对偶快速梯度方法，通过使用平均原始序列，实现了原始子最优性和可行性违反的改进亚二次收敛速率 O(1/k²)。在额外的Lipschitz梯度假设下，建立了全局误差界，并通过混合算法推导出对偶和原始子最优性的线性收敛。该方法在最优功率流问题上进行了验证，性能优于现有方法。

ABSTRACT

In this paper we propose distributed dual gradient algorithms for linearly constrained separable convex problems and analyze their rate of convergence under different assumptions. Under the strong convexity assumption on the primal objective function we propose two distributed dual fast gradient schemes for which we prove sublinear rate of convergence for dual suboptimality but also primal suboptimality and feasibility violation for an average primal sequence or for the last generated primal iterate. Under the additional assumption of Lipshitz continuity of the gradient of the primal objective function we prove a global error bound type property for the dual problem and then we analyze a dual gradient scheme for which we derive global linear rate of convergence for both dual and primal suboptimality and primal feasibility violation. We also provide numerical simulations on optimal power flow problems.

研究动机与目标

• 开发一种分布式对偶梯度算法，使其在可分凸问题上比现有集中式或对偶方法具有更快的收敛速率。
• 分析分布式环境下对偶子最优性和原始可行性违反的收敛速率，特别是针对平均原始迭代和最后迭代。
• 在Lipschitz梯度假设下建立全局误差界条件，从而实现对偶和原始子最优性的线性收敛。
• 提供无需集中式步长选择的分布式实现，以提高可扩展性和实际效率。
• 通过在最优功率流（DC-OPF）问题上的数值仿真验证理论改进。

提出的方法

• 基于对偶分解，提出一种分布式对偶快速梯度（DFG）算法，采用本地更新和对偶变量迭代，并实现分布式步长选择。
• 引入一种混合对偶快速梯度（H-DFG）算法，使最后原始迭代的收敛速率达到 O(1/k√k)，优于标准的 O(1/k) 速率。
• 在强凸性和Lipschitz连续梯度假设下，为对偶问题建立了全局误差界性质，将先前结果扩展至无界多面体约束。
• 采用平滑技术与对偶次梯度方法结合，通过平均化对偶迭代生成原始解，确保可行性与最优性。
• 采用分布式实现方式，每个代理仅求解本地子问题并仅通信对偶变量，避免集中协调。
• 推导理论迭代复杂度界，并使用收敛速率估计器将其与实际性能进行比较。

实验结果

研究问题

• RQ1 分布式对偶梯度方法能否在可分凸问题上实现比现有 O(1/k) 方法更快的收敛速率？
• RQ2 在引入强凸性和Lipschitz梯度假设后，是否能建立全局误差界，从而实现对偶和原始子最优性的线性收敛？
• RQ3 能否设计一种无需集中式步长选择的快速梯度方法的分布式实现，同时保持改进的收敛速率？
• RQ4 在大规模最优功率流问题上，所提算法与经典对偶梯度和集中式方法相比，实际表现如何？
• RQ5 约束矩阵的稀疏性与分布式对偶梯度方法的效率之间存在何种关系？

主要发现

• 所提出的分布式对偶快速梯度（DFG）算法在使用平均原始序列时，对原始子最优性和可行性违反均实现了 O(1/k²) 的收敛速率，显著优于标准的 O(1/k) 速率。
• 混合对偶快速梯度（H-DFG）算法对最后原始迭代的收敛速率达到 O(1/k√k)，表现出快于经典对偶梯度（DG）方法 O(1/k) 速率的收敛速度。
• 在Lipschitz连续梯度和强凸性假设下，对偶问题满足全局误差界，从而实现对偶和原始子最优性的线性收敛。
• 在39节点新英格兰系统上的数值仿真表明，DFG和H-DFG在性能上优于经典DG和集中式版本，其中DFG仅需4,486次迭代（而DG需168,619次）即可在测试案例 pws1 中达到 ε=0.01 的子最优性。
• 随着问题规模增大，分布式算法比集中式方法更高效，原因在于其更高的稀疏性以及各自主体的Lipschitz常数（L_d_i）大于全局L_d。
• DFG的理论迭代次数与实际迭代次数高度吻合，验证了所推导收敛速率估计的准确性。