[论文解读] A global dual error bound and its application to the analysis of linearly constrained nonconvex optimization

Jiawei Zhang, Zhi‐Quan Luo|arXiv (Cornell University)|Jun 30, 2020

Sparse and Compressive Sensing Techniques参考文献 22被引用 12

一句话总结

本文通过提出一种新颖的分解技术，为线性约束非凸优化问题建立了全局对偶误差界，使一阶原始-对偶方法能够实现寻找 $\epsilon$-驻定解的最优 $\mathcal{O}(1/\epsilon^2)$ 迭代复杂度。该方法避免了局部收敛假设，并去除了如 Slater 条件或紧致可行集等限制性条件。

ABSTRACT

Error bound analysis, which estimates the distance of a point to the solution set of an optimization problem using the optimality residual, is a powerful tool for the analysis of first-order optimization algorithms. In this paper, we use global error bound analysis to study the iteration complexity of a first-order algorithm for a linearly constrained nonconvex minimization problem. we develop a global dual error bound analysis for a regularized version of this nonconvex problem by using a novel ``decomposition'' technique. Equipped with this global dual error bound, we prove that a suitably designed primal-dual first order method can generate an $ε$-stationary solution of the linearly constrained nonconvex minimization problem within $\mathcal{O}(1/ε^2)$ iterations, which is the best known iteration complexity for this class of nonconvex problems.

研究动机与目标

• 为解决一阶原始-对偶方法在具有线性约束的非凸优化中收敛性分析的挑战。
• 克服依赖于未知或难以估计常数的局部误差界之局限性。
• 建立适用于定义域内任意点的全局对偶误差界，而不仅限于解集附近。
• 去除如 Slater 条件、严格互补性及可行集紧致性等限制性假设。
• 在具有线性约束的非凸问题中，实现寻找 $\epsilon$-驻定解的最优迭代复杂度 $\mathcal{O}(1/\epsilon^2)$。

提出的方法

• 引入原非凸问题的正则化版本，以支持全局误差界分析。
• 提出一种新颖的“分解”技术，推导出可从任意点估计到解集距离的全局对偶误差界。
• 使用势函数 $\phi^t = K(x^t,z^t;y^t) - 2d(y^t,z^t) + 2P(z^t)$ 跟踪迭代过程中的进展。
• 应用柯西-施瓦茨不等式与范数不等式，对势函数在迭代中的下降量进行有界。
• 利用误差界和类似强凸性的项，建立势函数下降量 $\phi^t - \phi^{t+1}$ 的下界。
• 推导出算法参数（如 $\alpha < \alpha' = c(p - L_f)^2 / (4\sigma_{\max}^2(A))$）的条件，以确保收敛性和最优复杂度。

实验结果

研究问题

• RQ1 能否在不依赖局部假设的前提下，为具有线性约束的非凸优化问题建立全局对偶误差界？
• RQ2 能否将一阶原始-对偶方法的迭代复杂度改进至非凸问题的 $\mathcal{O}(1/\epsilon^2)$？
• RQ3 能否在非凸收敛性分析中去除如 Slater 条件、严格互补性或可行集紧致性等限制性假设？
• RQ4 能否利用全局误差界显式计算平滑近端增广拉格朗日方法的算法参数？
• RQ5 能否通过使用常数步长的单重循环算法实现最优收敛复杂度？

主要发现

• 通过新颖的分解技术，为具有线性约束的非凸问题的正则化版本建立了全局对偶误差界。
• 该方法去除了以往工作所依赖的 Slater 条件、严格互补性及可行集紧致性要求。
• 证明了一阶原始-对偶方法的迭代复杂度为 $\mathcal{O}(1/\epsilon^2)$，与该类问题的最佳已知界一致。
• 全局误差界使得平滑近端增广拉格朗日方法中的算法参数可显式计算。
• 与先前复杂度界相比，本结果有所改进：相较于文献 [12] 中凸约束非凸问题的 $\mathcal{O}(1/\epsilon^{2.5})$ 复杂度，本结果降低了 $1/\sqrt{\epsilon}$ 的因子。
• 该分析使得使用常数步长的单重循环算法能够实现最优复杂度，避免了双重循环近端方法带来的更高复杂度。