[论文解读] Complexity certifications of first order inexact Lagrangian and penalty methods for conic convex programming

Ion Necoara, Andrei Pătraşcu+1 more|arXiv (Cornell University)|Jun 17, 2015

Optimization and Variational Analysis被引用 8

一句话总结

本文分析了锥约束凸规划的首阶非精确拉格朗日与惩罚方法，在最优拉格朗日乘子有界与无界的情况下推导了复杂度证书。结果表明，采用增广拉格朗日平滑的非精确梯度方法需要 O(1/ε) 次投影以获得 ε-最优解，而 Nesterov 类型的平滑或惩罚方法则需要 O(1/ε^{3/2}) 次投影。

ABSTRACT

In this paper we analyze first order Lagrangian and penalty methods for general cone constrained convex programming with bounded or unbounded optimal Lagrange multipliers. In the first part of our paper we assume bounded optimal Lagrange multipliers and we study primal-dual first order methods based on inexact information and smoothing techniques (augmented Lagrangian smoothing and Nesterov type smoothing). For inexact (fast) gradient augmented Lagrangian methods we derive overall computational complexity $\mathcal{O}\left( \frac{1}{\epsilon} ight)$ projections onto a simple primal set in order to attain an $\epsilon-$optimal solution of the conic convex problem. On the other hand, the inexact fast gradient method combined with Nesterov type smoothing technique requires $\mathcal{O}\left( \frac{1}{\epsilon^{3/2}} ight)$ projections onto the same set to attain an $\epsilon-$optimal solution of the original problem. In the second part of the paper, we assume possibly unbounded optimal Lagrange multipliers, and combine the fast gradient method with penalty strategies for solving the conic constrained optimization problem. We prove that, in this scenario, the penalty methods also require $\mathcal{O}\left( \frac{1}{\epsilon^{3/2}} ight)$ projections onto a simple primal set to attain an $\epsilon-$optimal solution for the original problem.

研究动机与目标

• 分析锥约束凸优化中首阶非精确拉格朗日与惩罚方法的计算复杂度。
• 在最优拉格朗日乘子有界的情况下，利用非精确梯度方法与平滑技术建立复杂度界。
• 将复杂度分析扩展至最优拉格朗日乘子可能无界的情形。
• 比较增广拉格朗日平滑与 Nesterov 类型平滑在投影复杂度方面的效率。
• 推导当拉格朗日乘子无界时基于惩罚方法的复杂度证书。

提出的方法

• 结合非精确梯度方法与增广拉格朗日平滑技术求解锥约束凸问题。
• 应用 Nesterov 类型的平滑技术以在乘子有界时加速收敛。
• 基于对简单原始集的投影次数推导复杂度界。
• 将快速梯度方法与惩罚策略结合，以处理无界最优拉格朗日乘子。
• 分析子问题解中非精确性与整体收敛复杂度之间的相互作用。
• 为不同平滑与惩罚策略建立了以 O(1/ε) 和 O(1/ε^{3/2}) 次投影表示的复杂度证书。

实验结果

研究问题

• RQ1 对于具有有界乘子的锥约束凸规划，采用增广拉格朗日平滑的非精确梯度方法的计算复杂度是多少？
• RQ2 在首阶拉格朗日方法中，Nesterov 类型平滑如何影响投影复杂度？
• RQ3 当最优拉格朗日乘子无界时，适用哪些复杂度界？
• RQ4 在乘子无界的情况下，惩罚方法与拉格朗日方法在复杂度上如何比较？
• RQ5 是否可以在保持良好收敛速率的同时控制子问题解中的非精确性？

主要发现

• 对于采用增广拉格朗日平滑与有界乘子的非精确梯度方法，该方法需要 O(1/ε) 次投影以达到 ε-最优解。
• 在有界乘子下使用 Nesterov 类型平滑时，该方法需要 O(1/ε^{3/2}) 次投影以实现 ε-最优性。
• 在最优拉格朗日乘子无界的情况下，惩罚方法同样需要 O(1/ε^{3/2}) 次投影以获得 ε-最优解。
• O(1/ε^{3/2}) 的复杂度源于快速梯度方法与平滑或惩罚技术的结合。
• 即使在子问题解存在非精确性的情况下，结果依然成立，表明对子程序中近似误差具有鲁棒性。
• 该分析为具有通用锥约束的首阶方法在锥凸规划中提供了紧致的复杂度证书。