[论文解读] A nonsmooth exact penalty method for equality-constrained optimization: complexity and implementation

Youssef Diouane, Maxence Gollier+1 more|arXiv (Cornell University)|Jan 1, 2024

Advanced Optimization Algorithms Research被引用 1

一句话总结

本文提出了一种实用的、基于邻近法的精确 ℓ2-惩罚方法实现，用于等式约束优化，在标准假设下展示了 O(ϵ⁻²) 的最坏情况复杂度。结果表明，通过现代邻近求解器，非光滑精确惩罚方法可被高效求解，在小规模问题上相比增广拉格朗日方法展现出更高的鲁棒性和效率，同时与 SQP 方法保持竞争力。

ABSTRACT

Penalty methods are a well known class of algorithms for constrained optimization. They transform a constrained problem into a sequence of unconstrained \emph{penalized} problems in the hope that approximate solutions of the latter converge to a solution of the former. If Lagrange multipliers exist, exact penalty methods ensure that the penalty parameter only need increase a finite number of times, but are typically scorned in smooth optimization for the penalized problems are not smooth. This led researchers to consider the implementation of exact penalty methods inconvenient. Recent advances in proximal methods have led to increasingly efficient solvers for nonsmooth optimization. We study a general exact penalty algorithm and use it to show that the exact $\ell_2$-penalty method for equality-constrained optimization can, in fact, be implemented efficiently by solving the penalized problem using a proximal-type algorithm. We study the convergence of our algorithm and establish a worst-case complexity bound of $\mathcal{O}(ε^{-2})$ to bring a stationarity measure below $ε> 0$ under the Mangarasian-Fromowitz constraint qualification and Lipschitz continuity of the objective gradient and constraint Jacobian. While the Lipschitz continuity of the objective gradient is not required for convergence in view of recent works, it is used in our analysis to derive the complexity bound. In a degenerate scenario where the penalty parameter grows unbounded, the complexity becomes $\mathcal{O}(ε^{-8})$, which is worse than another bound found in the literature. Finally, we report numerical experience on small-scale problems from a standard collection and compare our solver with an augmented-Lagrangian and an SQP method. Our preliminary implementation is superior to the augmented Lagrangian in terms of robustness and efficiency, and is competitive with the SQP method.

研究动机与目标

• 为解决长期以来认为精确惩罚方法因非光滑性而不实用的观念，通过展示其可借助现代邻近求解器高效实现。
• 在 Mangasarian-Fromowitz 约束规范性和梯度的利普希茨连续性假设下，建立精确 ℓ2-惩罚方法的最坏情况复杂度界为 O(ϵ⁻²)，其中 ϵ > 0 为站-stationarity 测度的容差。
• 证明 ℓ2-惩罚方法可通过邻近算法高效实现，为增广拉格朗日方法和 SQP 方法提供一种可行的替代方案。
• 通过分析其对复杂度界的影响，特别是退化情形下的表现，说明为何选择适当缩放的可行性度量是合理的。
• 首次提供基于邻近技术的精确 ℓ2-惩罚方法的实用实现，并通过标准测试问题的数值验证。

提出的方法

• 使用一种邻近类型算法求解精确 ℓ2-惩罚方法中产生的非光滑惩罚子问题，利用高效的邻近算子计算。
• 采用改进的拟牛顿邻近方法（R2N），结合自适应正则化和线搜索，以确保增广模型的充分下降。
• 通过求解信赖域子问题，推导出高效计算邻近算子的算法，包括通过替代对偶点系统处理秩亏雅可比矩阵的情形。
• 将信赖域框架应用于惩罚问题，确保收敛性，并在标准假设下支持复杂度分析。
• 采用带自适应正则化参数更新的回溯线搜索，以控制步长并保证全局收敛。
• 提供一个足够通用的框架，可扩展至其他范数（如 ℓ1、ℓ∞），只要对应的子问题可高效求解。

实验结果

研究问题

• RQ1 尽管存在非光滑性，能否通过现代邻近求解器使等式约束优化的精确惩罚方法变得实用？
• RQ2 在标准假设下，精确 ℓ2-惩罚方法的邻近实现的最坏情况复杂度是多少？
• RQ3 可行性度量的选择如何影响复杂度界，特别是在退化情形下？
• RQ4 所提出的方法在小规模问题上是否能在鲁棒性和效率方面优于增广拉格朗日方法和 SQP 方法？
• RQ5 ℓ2-惩罚方法是否适合通过邻近算法高效实现？其关键算法组件是什么？

主要发现

• 所提出的算法在 Mangasarian-Fromowitz 约束规范性和目标函数梯度与约束雅可比矩阵的利普希茨连续性假设下，实现了将站-stationarity 测度降至 ϵ > 0 的最坏情况复杂度界为 O(ϵ⁻²)。
• 在惩罚参数无界增长的退化情形下，复杂度退化为 O(ϵ⁻⁸)，劣于先前工作中 O(ϵ⁻⁵) 的界，但作者将其解释为采用适当缩放可行性度量的直接后果。
• 数值实验表明，所提出的求解器在标准测试集的小规模问题上比增广拉格朗日方法更具鲁棒性和效率。
• 在鲁棒性方面，求解器与 SQP 方法保持竞争力，尽管 SQP 方法通常需要更少的函数评估次数。
• 该实现是首个已知的基于邻近技术的精确 ℓ2-惩罚方法实用实现，其邻近算子通过信赖域子问题的解高效计算。
• 该框架可扩展至 ℓ1 和 ℓ∞ 等其他范数，前提是相应的邻近算子可高效计算。