[论文解读] A Primal-Dual Parallel Method with $O(1/ε)$ Convergence for Constrained Composite Convex Programs

Hao Yu, Michael J. Neely|arXiv (Cornell University)|Jul 30, 2017

Advanced Optimization Algorithms Research参考文献 5被引用 6

一句话总结

本文提出了一种用于约束复合凸规划的新颖原始-对偶并行算法，实现 $O(1/\epsilon)$ 收敛率，且每次迭代的复杂度较低。与以往需要昂贵子问题求解的方法不同，该方法通过一种新型参数规则，将每次迭代分解为独立、可并行的更新，避免对最优拉格朗日乘子的依赖，从而实现对非可分问题的高效大规模求解。

ABSTRACT

This paper considers large scale constrained convex (possibly composite and non-separable) programs, which are usually difficult to solve by interior point methods or other Newton-type methods due to the non-smoothness or the prohibitive computation and storage complexity for Hessians and matrix inversions. Instead, they are often solved by first order gradient based methods or decomposition based methods. The conventional primal-dual subgradient method, also known as the Arrow-Hurwicz-Uzawa subgradient method, is a low complexity algorithm with an $O(1/ε^2)$ convergence time. Recently, a new Lagrangian dual type algorithm with a faster $O(1/ε)$ convergence time is proposed in Yu and Neely (2017). However, if the objective or constraint functions are not separable, each iteration of the Lagrangian dual type method in Yu and Neely (2017) requires to solve a unconstrained convex program, which can have huge complexity. This paper proposes a new primal-dual type algorithm with $O(1/ε)$ convergence for general constrained convex programs. Each iteration of the new algorithm can be implemented in parallel with low complexity even when the original problem is composite and non-separable.

研究动机与目标

• 为解决大规模约束复合凸规划问题，其中内点法因海塞矩阵计算和存储成本过高而不可行。
• 开发一种一阶原始-对偶方法，实现 $O(1/\epsilon)$ 收敛率，且在每次迭代中避免求解复杂子问题。
• 即使目标函数或约束函数不可分，也能实现并行化、低复杂度的实现。
• 在算法参数规则中消除对最优拉格朗日乘子的依赖，提升鲁棒性和实用性。
• 在非可分问题上，相比现有原始-对偶方法和对偶次梯度法，在收敛速度和每次迭代效率方面表现更优。

提出的方法

• 提出一种新型原始-对偶算法，采用创新的参数规则，使步长与最优拉格朗日乘子的知识解耦。
• 通过利用复合函数（光滑部分 + 可分非光滑部分）的结构，将每次迭代分解为独立、可并行的子问题。
• 基于约束函数的次梯度进行对偶变量更新，而原始变量更新则涉及对非光滑部分的近端运算。
• 采用李雅普诺夫函数分析，证明对可行性和最优性间隙均实现 $O(1/\epsilon)$ 收敛。
• 应用改进的对偶上升方案，其自适应步长基于强对偶性和Lipschitz连续性假设推导得出。
• 通过将变量投影到约束集 $\mathcal{X}$ 以保持可行性，并采用有界对偶变量更新，确保收敛性。

实验结果

研究问题

• RQ1 能否设计一种原始-对偶方法，对一般约束复合凸规划实现 $O(1/\epsilon)$ 收敛率，且无需假设目标函数或约束的可分性？
• RQ2 当光滑部分不可分时，能否在保持低每次迭代复杂度的前提下，实现该方法的并行化？
• RQ3 能否在无需预先知晓最优拉格朗日乘子的情况下，保证该算法的收敛性？
• RQ4 在非可分问题上，该新方法与现有原始-对偶方法和对偶次梯度法相比，在速度和可扩展性方面表现如何？
• RQ5 该算法能否在避免昂贵的海塞矩阵计算或矩阵求逆的同时，保持快速收敛？

主要发现

• 所提算法对最优性和可行性均实现 $O(1/\epsilon)$ 收敛，达到近期并行算法的最佳已知收敛率。
• 每次迭代均可分解为独立、可并行的更新，适用于大规模问题的高效实现。
• 在 $l_2$ 范数约束的最小方差投资组合问题中，新算法每次迭代速度比基线方法快 180 倍。
• 在 $l_1$ 范数约束的投资组合问题中，新算法每次迭代速度比基线方法快 1,800 倍。
• 当目标函数或约束函数不可分时，该算法仍能保持快速收敛，而以往的并行方法在这些情况下会丧失并行性。
• 该方法性能鲁棒，与现有算法相当，但每次迭代的计算成本显著降低。