[论文解读] First-Order Primal-Dual Method for Nonlinear Convex Cone Programming

Lei Zhao, Daoli Zhu|arXiv (Cornell University)|Dec 31, 2017

Sparse and Compressive Sensing Techniques参考文献 76被引用 3

一句话总结

该论文提出了变体辅助问题原理（VAPP），一种用于非线性凸锥规划（NCCP）的首阶原始-对偶算法，适用于光滑或非光滑目标函数与约束条件。通过在增广拉格朗日框架下结合线性化与可变距离函数，VAPP在一般凸情况下实现了原始次优性、可行性与对偶次优性的 O(1/t) 收敛速率，并在强凸性条件下达到 O(1/t²) 收敛速率，同时具备可验证的误差界条件，并与前向-后向分裂方法存在关联。

ABSTRACT

Nonlinear Convex Cone Programming (NCCP) problems are important and have many practical applications. In this paper, we introduces a flexible first-order primal-dual algorithm called the Variant Auxiliary Problem Principle (VAPP) for solving NCCP problems when the objective function and constraints are smooth and may be nonsmooth. Each iteration of VAPP generates a nonlinear approximation to the primal problem of an augmented Lagrangian method. The approximation incorporates both linearization and a variable distance-like function, and then the iterations of VAPP provide one decomposition property for NCCP. Motivated by recent applications in big data analysis, there has been an explosive growth in interest in the convergence rate analysis of parallel computing algorithms for large scale optimization problem. This paper proposes an iteration-based error bound and linear convergence of VAPP. Some verifiable sufficient conditions of this error bound are also discussed. For the general convex case (without error bound), we establish $O(1/t)$ convergence rate for primal suboptimality, feasibility and dual suboptimality. By adaptively setting in parameters at different iterations, we show an $O(1/t^2)$ rate for the strongly convex case. We further present Forward-Backward Splitting (FBS) formulation of VAPP method and establish the connection between VAPP and other primal-dual splitting methods. Finally, we discuss some issues in the implementation of VAPP.

研究动机与目标

• 开发一种灵活的首阶原始-对偶算法，用于求解包含光滑与非光滑分量的非线性凸锥规划（NCCP）问题。
• 在一般凸情况下，建立原始次优性、可行性与对偶次优性的收敛速率。
• 通过自适应参数选择，在强凸性条件下实现改进的 O(1/t²) 收敛速率。
• 提供可验证的充分条件，以确保基于迭代的误差界存在，从而实现线性收敛。
• 建立 VAPP 与其它原始-对偶分裂方法（特别是前向-后向分裂，FBS）之间的联系。

提出的方法

• VAPP 通过线性化与可变距离函数，在增广拉格朗日框架下构造增广拉格朗日函数的非线性逼近，从而实现 NCCP 问题的分解。
• 在每次迭代中，算法通过包含原始变量与对偶乘子的正则化子问题进行最小化，其中使用广义距离函数 D(u, u^k) 与对偶变量的惩罚项。
• 该方法采用回溯策略，通过控制参数 ε^k 确保下降性质，其中 ε^k 的上界为 β / (B_G + B_Ω + γτ²)，以维持收敛性。
• 采用迭代序列的加权平均 (ū_t, p̄_t) 作为解的估计，收敛速率通过广义距离函数上的下降不等式推导得出。
• 在适当的参数化下，该算法被证明等价于前向-后向分裂（FBS）形式，从而将其与成熟的原始-对偶分裂框架联系起来。
• 实现方面的考虑包括自适应参数设置以及使用对偶可行性投影算子 Π(·) 以强制满足约束条件。

实验结果

研究问题

• RQ1 首阶原始-对偶方法能否在非光滑目标函数与约束条件下实现 NCCP 问题的 O(1/t) 收敛？
• RQ2 在 VAPP 框架下，何种条件可确保通过基于迭代的误差界实现线性收敛速率？
• RQ3 如何调整 VAPP 方法，使其在强凸情况下实现 O(1/t²) 收敛速率？
• RQ4 VAPP 与现有原始-对偶分裂方法（如前向-后向分裂）之间存在何种关系？
• RQ5 何种可验证的充分条件可保证误差界的存在，从而导致线性收敛？

主要发现

• 在标准假设下，VAPP 算法在一般凸情况下实现了原始次优性、可行性与对偶次优性的 O(1/t) 收敛速率。
• 在强凸性条件下，通过自适应参数选择，可实现相同收敛指标的改进 O(1/t²) 收敛速率。
• 建立了基于迭代的误差界条件，并提供了该误差界存在的可验证充分条件，从而在适当参数控制下实现线性收敛。
• VAPP 方法被证明等价于前向-后向分裂（FBS）形式，从而将其与一类广为人知的原始-对偶分裂算法联系起来。
• 证明了广义距离函数 D(u, u^k) + (ε^k / 2γ) ||p - p^k||² 上的下降不等式，该不等式构成了收敛性与速率分析的理论基础。
• 在假设 1 和假设 2 成立的条件下，该算法有界且全局收敛于增广拉格朗日函数的鞍点 (u*, p*)。