[论文解读] Dynamical Primal-Dual Accelerated Method with Applications to Network Optimization

Xianlin Zeng, Jinlong Lei+1 more|arXiv (Cornell University)|Dec 8, 2019

Advanced Optimization Algorithms Research被引用 6

一句话总结

本文提出一种具有递增阻尼系数的连续时间原始-对偶Nesterov加速方法，用于具有仿射等式约束的凸优化问题，实现了对偶间隙的最优 $O(1/t^2)$ 收敛速率。该方法被应用于分布式网络优化问题，推导出具有加速收敛特性的新型分布式算法。

ABSTRACT

This paper develops a continuous-time primal-dual accelerated method with an increasing damping coefficient for a class of convex optimization problems with affine equality constraints. This paper analyzes critical values for parameters in the proposed method and prove that the rate of convergence in terms of the duality gap function is $O( frac{1}{t^2})$ by choosing suitable parameters. As far as we know, this is the first continuous-time primal-dual accelerated method that can obtain the optimal rate. Then this work applies the proposed method to two network optimization problems, a distributed optimization problem with consensus constraints and a distributed extended monotropic optimization problem, and obtains two variant distributed algorithms. Finally, numerical simulations are given to demonstrate the efficacy of the proposed method.

研究动机与目标

• 解决连续时间下原始-对偶加速方法在具有仿射等式约束的凸问题中缺乏实现最优 $O(1/t^2)$ 收敛速率的问题。
• 克服现有分布式原始-对偶方法收敛速度较慢的问题，这些方法通常仅能达到 $O(1/t)$ 或渐近收敛速率。
• 基于李雅普诺夫分析构建统一框架，推导出确保加速收敛的关键参数选择。
• 将所提方法扩展至两类网络优化问题：分布式一致性约束问题与扩展单调优化问题。
• 设计具有可证明加速特性的分布式算法，实现在大规模网络化系统中的更快收敛。

提出的方法

• 基于Nesterov加速方法的启发，构建具有递增阻尼系数 $\alpha(t) = \frac{2}{t}$ 的连续时间原始-对偶动力系统。
• 引入一个李雅普诺夫函数 $V(t, y, \lambda, z, \dot{y}, \dot{\lambda}, \dot{z})$，将原始变量、对偶变量及其速度项的项相结合，用于分析系统的稳定性和收敛性。
• 利用李雅普诺夫函数证明，在适当的参数条件下，对偶间隙和原始-对偶残差以 $O(1/t^2)$ 速率衰减。
• 将该方法应用于两类网络优化问题：一类具有一致性约束，另一类具有扩展单调结构，推导出相应的分布式算法变体。
• 通过拉格朗日框架确保算法轨迹有界，并在满足约束的前提下收敛至最优解。
• 通过在具有log-sum-exp代价函数的网络优化问题上的数值仿真验证该方法，结果表明其收敛速度优于先前方法，尤其在代价函数的对数尺度图中表现更优。

实验结果

研究问题

• RQ1 连续时间原始-对偶方法能否在具有仿射等式约束的凸问题中实现最优的 $O(1/t^2)$ 收敛速率？
• RQ2 在阻尼系数等方面，哪些参数选择对于在原始-对偶框架中实现加速收敛至关重要？
• RQ3 如何将Nesterov加速方法适配至连续时间的原始-对偶设置，以在处理约束的同时保持最优收敛速率？
• RQ4 所提方法能否扩展至具有一致性或单调约束的分布式网络优化问题，同时保持加速特性？
• RQ5 李雅普诺夫函数在证明所提动力系统收敛性与速率分析中起到何种作用？

主要发现

• 所提出的连续时间原始-对偶方法在对偶间隙上实现了 $O(1/t^2)$ 的收敛速率，这是第一类方法的最优结果。
• 该方法确保 $L_2(y(t), z^*, \lambda^*) - L_2(y^*, z^*, \lambda(t)) = O(1/t^2)$，表明拉格朗日函数快速收敛。
• 对偶变量范数满足 $\|\lambda(t)^\top L_{n\circ m} \lambda(t)\| = O(1/t^2)$，证实了约束的快速满足。
• 原始变量与对偶变量的速度项以 $O(1/t)$ 速率衰减，表明收敛行为平滑。
• 数值仿真结果证实，与先前算法（如文献[2]和[19]中的方法）相比，所提方法具有更快的收敛速度，尤其在代价函数的对数尺度图中表现显著。
• 该算法成功将约束违反量 $\|d_0 - Wy\|^2$ 驱动至零，验证了解的可行性。