[论文解读] Distributed Regularized Primal-Dual Method: Convergence Analysis and Trade-offs

Masoud Badiei Khuzani, Na Li|arXiv (Cornell University)|Sep 27, 2016

Distributed Control Multi-Agent Systems参考文献 17被引用 15

一句话总结

本文提出了一种用于带全局不等式约束的凸优化的分布式正则化原始-对偶方法，通过拉格朗日乘子的二次正则化来控制其范数并抑制次梯度的增长。主要贡献在于理论上建立了收敛速率与约束违反衰减速率之间的权衡关系，该关系在确定性和随机变体中均得到证明，并给出了明确的收敛速率。

ABSTRACT

We study deterministic and stochastic primal-dual sub-gradient algorithms for distributed optimization of a separable objective function with global inequality constraints. In both algorithms, the norm of the Lagrangian multipliers are controlled by augmenting the corresponding Lagrangian function with a quadratic regularization term. Specifically, we show that when the stepsize of each algorithm satisfies a certain restriction, the norm of the Lagrangian multipliers is upper bounded by an expression that is inversely proportional to the parameter of the regularization. We use this result to compute upper bounds on the sub-gradients of the Lagrangian function. For the deterministic algorithm, we prove a convergence rate for attaining the optimal objective value. In the stochastic optimization case, we similarly prove convergence rates both in the expectation and with a high probability, using the method of bounded martingale difference. For both algorithms, we demonstrate a trade-off between the convergence rate and the decay rate of the constraint violation, in the sense that improving the convergence rate slows the decay rate of the constraint violation and vice versa. We demonstrate the convergence of our proposed algorithms numerically for distributed regression with the hinge and logistic loss functions over different graph structures.

研究动机与目标

• 为具有全局不等式约束的凸优化问题设计一种适用于大规模网络化系统的分布式原始-对偶算法。
• 通过引入二次正则化，解决现有方法中将拉格朗日乘子投影到单纯形上所带来的计算负担。
• 在利普希茨连续性假设下，为该算法的确定性和随机变体建立收敛速率。
• 分析收敛速率与约束违反衰减速率之间的权衡关系，尤其关注约束在最优解处为紧约束与严格可行约束的情况。
• 通过在不同图拓扑结构下对分布式回归问题使用合页损失和逻辑损失，数值验证该方法的有效性。

提出的方法

• 该方法对拉格朗日函数施加对偶变量（即拉格朗日乘子）的二次惩罚，确保其范数受正则化参数的倒数有界。
• 每个代理通过投影到包含可行集的欧几里得球上更新其原始变量，从而实现高效计算并获得闭式解。
• 通过对正则化拉格朗日函数使用次梯度更新对偶变量，并采用确保有界性和收敛性的步长规则。
• 在随机变体中，每个代理在每次迭代中仅计算一个不等式约束的次梯度，相比确定性版本显著降低了每次迭代的计算成本。
• 收敛性分析依赖于通过正则化对偶变量范数来有界次梯度范数，从而推导出期望收敛速率和高概率收敛速率。
• 在随机设置中，使用有界鞅差分方法证明了高概率收敛。

实验结果

研究问题

• RQ1 在分布式原始-对偶方法中，如何控制拉格朗日乘子的范数以确保收敛性和稳定性？
• RQ2 收敛速率到最优目标值与约束违反衰减速率之间的权衡关系是什么？
• RQ3 能否设计一种分布式随机原始-对偶算法，避免在每一步中计算所有约束的次梯度？
• RQ4 收敛与约束违反之间的权衡是否取决于最优解处约束是否严格可行？
• RQ5 在利普希茨连续性假设下，确定性和随机变体的收敛速率可保证为多少？

主要发现

• 拉格朗日乘子的范数被上界控制在一个与正则化参数成反比的表达式中，从而实现了对次梯度范数的有效控制。
• 对于确定性算法，证明了达到最优目标值的收敛速率为 O(1/T)，其中 T 为迭代次数。
• 在随机情况下，利用有界鞅差分方法，建立了期望收敛速率为 O(1/T)，高概率收敛速率为 O(log T / T)。
• 存在收敛速率与约束违反衰减速率之间的根本性权衡：提升一方将导致另一方恶化，尤其在最优解处约束为紧约束时更为明显。
• 当最优解处约束严格可行时，该权衡关系消失，表明收敛行为存在结构性差异。
• 数值结果验证了在不同图结构下，使用合页损失和逻辑损失的分布式回归问题中该方法的收敛性，与理论发现一致。