[论文解读] An Augmented Lagrangian Method for Conic Convex Programming

Necdet Serhat Aybat, Garud Iyengar|arXiv (Cornell University)|Feb 26, 2013

Advanced Optimization Algorithms Research参考文献 10被引用 20

一句话总结

本文提出 ALCC，一种用于求解具有锥约束的凸锥规划问题的非精确一阶增广拉格朗日算法。在温和假设下，该算法在 $\mathcal{O}(\log(\epsilon^{-1}))$ 次迭代内实现 $\epsilon$-可行与 $\epsilon$-最优解，且每次迭代需求解 $\mathcal{O}(\epsilon^{-1}\log(\epsilon^{-1}))$ 个简单子问题，同时保证收敛至 KKT 点并实现全局最优性。

ABSTRACT

We propose a new first-order augmented Lagrangian algorithm ALCC for solving convex conic programs of the form min{rho(x)+gamma(x): Ax-b in K, x in chi}, where rho and gamma are closed convex functions, and gamma has a Lipschitz continuous gradient, A is mxn real matrix, K is a closed convex cone, and chi is a "simple" convex compact set such that optimization problems of the form min{rho(x)+|x-x0|_2^2: x in chi} can be efficiently solved for any given x0. We show that any limit point of the primal ALCC iterates is an optimal solution of the conic convex problem, and the dual ALCC iterates have a unique limit point that is a Karush-Kuhn-Tucker (KKT) point of the conic program. We also show that for any epsilon>0, the primal ALCC iterates are epsilon-feasible and epsilon optimal after O(log(1/epsilon)) iterations which require solving O(1/epsilon log(1/epsilon)) problems of the form min{rho(x)+|x-x0|_2^2: x in chi}.

研究动机与目标

• 开发一种高效的一阶算法，用于求解具有锥约束的凸锥优化问题。
• 在弱约束资格条件下，确保收敛至 Karush-Kuhn-Tucker (KKT) 点并实现全局最优性。
• 在 $\mathcal{O}(\log \epsilon^{-1})$ 次迭代内实现 $\epsilon$-可行性与 $\epsilon$-最优性，且子问题复杂度有界。
• 通过利用问题结构与光滑部分的利普希茨连续性，借助一阶方法高效求解子问题。
• 将增广拉格朗日方法推广至无须对约束矩阵 $A$ 要求正则性条件的锥规划问题。

提出的方法

• 该算法采用形式为 $\min_{x \in \chi} \{ \rho(x) + \gamma(x) + \frac{1}{2\mu_k} \|Ax - b - s_k\|_2^2 \}$ 的非精确增广拉格朗日子问题，其中 $\chi$ 为一个简单紧集。
• 利用一阶方法对增广拉格朗日函数进行非精确最小化，依赖于 $\nabla\gamma$ 的利普希茨连续性，以及对 $\min_{x \in \chi} \{ \rho(x) + \|x - \bar{x}\|_2^2 \}$ 的高效求解。
• 通过谨慎控制增长规则来调节惩罚参数 $\mu_k$，以控制迭代复杂度，同时令子问题的次优容忍度 $\alpha_k$ 递减以确保收敛。
• 通过将对偶迭代 $y_k$ 投影到对偶锥 $\mathcal{K}^*$ 上来更新，收敛性通过误差项的有界性与可 summability 性来证明。
• 该方法依赖于一个增益函数 $g_{\mu_k}(y_k)$，并利用弱对偶性与 $g_0$ 的上半连续性，证明收敛至 KKT 点。
• 该算法通过近似型子问题处理非光滑项 $\rho(x)$，且避免对 $A$ 的完全正则性要求。

实验结果

研究问题

• RQ1 能否为锥凸规划设计一种非精确一阶增广拉格朗日方法，以保证收敛性与迭代复杂度？
• RQ2 在何种条件下，对偶迭代能收敛至 KKT 点，且原始迭代收敛至最优解？
• RQ3 如何在保持 $\epsilon$-可行性与 $\epsilon$-最优性的同时，对子问题复杂度进行有界控制？
• RQ4 哪些 $\mu_k$ 与 $\alpha_k$ 的增长与衰减规则能确保全局收敛性与最优迭代次数？
• RQ5 该算法能否应用于矩阵博弈、半定规划与 $\ell_1$-最小化问题，且无需强约束资格条件？

主要发现

• 任何原始 ALCC 迭代序列的极限点均为锥凸问题的最优解。
• 对偶迭代序列 $\{y_k\}$ 收敛至唯一极限点 $\bar{y}$，该点为问题的 KKT 点。
• 对任意 $\epsilon > 0$，该算法在 $\mathcal{O}(\log \epsilon^{-1})$ 次迭代内实现 $\epsilon$-可行性与 $\epsilon$-最优性。
• 每次迭代需求解 $\mathcal{O}(\epsilon^{-1} \log \epsilon^{-1})$ 个形式为 $\min_{x \in \chi} \{ \rho(x) + \|x - \bar{x}\|_2^2 \}$ 的子问题。
• 收敛性证明依赖于 $\sqrt{\xi_k \mu_k}$ 的可 summability 性与对偶函数 $g_0$ 的上半连续性。
• 该方法适用于重要特例，如矩阵博弈、半定规划与 $\ell_1$-最小化问题，且可行集有界。