[论文解读] Iteration complexity analysis of dual first order methods for conic convex programming

Ion Necoara, Andrei Pătraşcu|arXiv (Cornell University)|Sep 4, 2014

Advanced Optimization Algorithms Research参考文献 22被引用 8

一句话总结

本文对锥凸规划的对偶一类一阶方法进行了全面的迭代复杂度分析，重点关注使用最后迭代解和平均化原始序列时的原始次优性和不可行性违反。在误差界或梯度利普希茨连续性假设下，建立了对偶梯度法和快速梯度法的线性收敛速率，表明在实际和理论上，最后迭代解通常优于平均序列。

ABSTRACT

In this paper we provide a detailed analysis of the iteration complexity of dual first order methods for solving conic convex problems. When it is difficult to project on the primal feasible set described by convex constraints, we use the Lagrangian relaxation to handle the complicated constraints and then, we apply dual first order algorithms for solving the corresponding dual problem. We give convergence analysis for dual first order algorithms (dual gradient and fast gradient algorithms): we provide sublinear or linear estimates on the primal suboptimality and feasibility violation of the generated approximate primal solutions. Our analysis relies on the Lipschitz property of the gradient of the dual function or an error bound property of the dual. Furthermore, the iteration complexity analysis is based on two types of approximate primal solutions: the last primal iterate or an average primal sequence.

研究动机与目标

• 为当原始投影计算困难时，对锥凸问题的对偶一类一阶方法提供详细的收敛性分析。
• 通过两种类型的近似原始解（最后迭代解和平均序列）来表征原始次优性和不可行性的迭代复杂度。
• 在对偶函数满足利普希茨连续梯度或误差界性质的条件下，建立收敛速率。
• 比较最后迭代解与平均化原始序列的实际性能，表明前者通常收敛更快。
• 回答关于在误差界条件下快速梯度算法的线性收敛性问题，特别是针对最后迭代解。

提出的方法

• 使用拉格朗日松弛将原始问题转化为对偶问题，当在原始可行集上投影计算困难时。
• 应用对偶梯度（DG）和对偶快速梯度（DFG）方法求解对偶问题，依赖于对偶函数的光滑性或误差界性质。
• 分析两种类型的原始近似解：最后迭代解和对偶迭代的遍历（平均）序列。
• 基于对偶问题的性质（包括对偶梯度的利普希茨连续性或全局误差界），推导原始次优性和不可行性违反的收敛速率。
• 采用基于凸分析和一阶优化理论的理论分析，包括以迭代次数 $k$ 表示的次优性和不可行性估计。
• 通过在网络效用最大化和资源分配问题上的数值实验验证理论结果，比较最后迭代解与平均序列的性能。

实验结果

研究问题

• RQ1 在何种条件下，对偶一类一阶方法能对锥凸问题的原始最后迭代解实现线性收敛？
• RQ2 对偶一类一阶方法中，最后迭代解的收敛速率与平均化原始序列相比如何？
• RQ3 对偶快速梯度法能否在使用最后迭代解时，对原始次优性和不可行性实现 $\mathcal{O}(1/k^2)$ 的收敛速率？
• RQ4 误差界性质在确保对偶梯度方法在最后迭代解中实现线性收敛中起什么作用？
• RQ5 理论迭代复杂度界在多大程度上与实际收敛速度表现一致？

主要发现

• 对于具有利普希茨连续对偶梯度的强凸原始问题，对偶梯度法在最后迭代解中实现 $\mathcal{O}(1/\sqrt{k})$ 的次线性收敛速率，在平均序列中实现 $\mathcal{O}(1/k)$ 的收敛速率。
• 在相同假设下，对偶快速梯度法在平均序列中实现 $\mathcal{O}(1/k^2)$ 的收敛速率，在最后迭代解中实现 $\mathcal{O}(1/k)$ 的收敛速率。
• 当对偶问题满足全局误差界条件时，对偶梯度法在最后迭代解中表现出线性收敛，数值实验已证实此结论。
• 数值结果表明，对偶一类一阶方法的最后迭代解通常比平均序列收敛更快，这与实际和理论分析一致。
• 对收敛速率的理论估计（例如 DFG 的 $\mathcal{O}(1/k^2)$）与实际性能非常吻合，尤其在最后迭代解中表现突出。
• 对于无框约束的问题（$U = \mathbb{R}^n$），对偶梯度法在最后迭代解中表现出线性收敛，与理论预测一致。