[논문 리뷰] A nonsmooth exact penalty method for equality-constrained optimization: complexity and implementation

Youssef Diouane, Maxence Gollier외 1명|arXiv (Cornell University)|2024. 01. 01.

Advanced Optimization Algorithms Research인용 수 1

한 줄 요약

이 논문은 등차약식 최적화 문제에 대한 정확한 ℓ2-패널티 방법의 실용적, 프록시 기반 구현을 제안하며, 표준 가정 하에 최악의 경우 복잡도가 O(ϵ⁻²)임을 입증한다. 비연속 정확한 패널티 방법이 현대 프록시 솔버를 통해 효율적으로 해결될 수 있음을 보이며, 소규모 문제에서 보조라그랑주 방법보다 더 뛰어난 안정성과 효율성을 보이고, 순차적 구속 최적화(SQP) 방법과도 경쟁 가능하다.

ABSTRACT

Penalty methods are a well known class of algorithms for constrained optimization. They transform a constrained problem into a sequence of unconstrained \emph{penalized} problems in the hope that approximate solutions of the latter converge to a solution of the former. If Lagrange multipliers exist, exact penalty methods ensure that the penalty parameter only need increase a finite number of times, but are typically scorned in smooth optimization for the penalized problems are not smooth. This led researchers to consider the implementation of exact penalty methods inconvenient. Recent advances in proximal methods have led to increasingly efficient solvers for nonsmooth optimization. We study a general exact penalty algorithm and use it to show that the exact $\ell_2$-penalty method for equality-constrained optimization can, in fact, be implemented efficiently by solving the penalized problem using a proximal-type algorithm. We study the convergence of our algorithm and establish a worst-case complexity bound of $\mathcal{O}(ε^{-2})$ to bring a stationarity measure below $ε> 0$ under the Mangarasian-Fromowitz constraint qualification and Lipschitz continuity of the objective gradient and constraint Jacobian. While the Lipschitz continuity of the objective gradient is not required for convergence in view of recent works, it is used in our analysis to derive the complexity bound. In a degenerate scenario where the penalty parameter grows unbounded, the complexity becomes $\mathcal{O}(ε^{-8})$, which is worse than another bound found in the literature. Finally, we report numerical experience on small-scale problems from a standard collection and compare our solver with an augmented-Lagrangian and an SQP method. Our preliminary implementation is superior to the augmented Lagrangian in terms of robustness and efficiency, and is competitive with the SQP method.

연구 동기 및 목표

• 비연속성으로 인해 정확한 패널티 방법이 실용적이지 않다는 오랜 오해를 해결하기 위해, 현대 프록시 솔버를 활용해 효율적인 구현이 가능함을 보여줌.
• Mangasarian-Fromowitz 제약 조건과 그래디언트의 Lipschitz 연속성 하에, 정류성 측정값이 ϵ > 0 이하로 내려가는 데 대해 최악의 경우 복잡도 상한 O(ϵ⁻²)를 설정함.
• ℓ2-패널티 방법이 프록시 알고리즘을 통해 효율적으로 구현될 수 있음을 보이며, 보조라그랑주 방법과 SQP 방법의 실질적인 대안을 제공함.
• 특히 열악한 경우에서의 영향을 분석함으로써 적절하게 스케일링된 타당성 측정값의 선택을 정당화함.
• 프록시 기법을 사용한 정확한 ℓ2-패널티 방법의 첫 번째 실용적 구현을 제공하며, 표준 테스트 문제에서 수치적 검증을 수행함.

제안 방법

• 정확한 ℓ2-패널티 방법에서 발생하는 비연속 패널티 하위문제를 해결하기 위해 프록시 유형 알고리즘을 사용하며, 효율적인 프록시 연산자 평가를 활용함.
• 적응형 정규화와 선 탐색을 통한 수정된 Quasi-Newton 프록시 방법(R2N)을 적용하여 보정 모델의 충분한 감소를 보장함.
• 신뢰영역 하위문제의 해를 통한 프록시 연산자 계산을 위한 효율적인 절차를 유도하며, 랭크 결손이 있는 야코비안 처리를 위한 대체 사다리꼴 시스템을 포함함.
• 표준 가정 하에 수렴성과 복잡도 분석을 보장하기 위해 패널티 문제에 대해 신뢰영역 프레임워크를 적용함.
• 단계 크기를 제어하고 전역 수렴성을 확보하기 위해 적응형 정규화 파라미터 업데이트를 통한 백트랙킹 선 탐색을 사용함.
• 해당 하위문제들이 효율적으로 해결될 수 있다면, ℓ1 및 ℓ∞ 등의 다른 노름으로도 일반화 가능한 프레임워크를 제공함.

실험 결과

연구 질문

• RQ1 비연속성으로 인해 등차약식 최적화 문제에 대한 정확한 패널티 방법이 실용적이지 않다는 오해를 현대 프록시 솔버를 통해 극복할 수 있는가?
• RQ2 표준 가정 하에 프록시 기반 정확한 ℓ2-패널티 방법의 최악의 경우 복잡도는 얼마인가?
• RQ3 타당성 측정값의 선택이 복잡도 상한에 미치는 영향은 무엇이며, 특히 열악한 경우에서 어떻게 영향을 미치는가?
• RQ4 제안된 방법이 소규모 문제에서 보조라그랑주 방법 및 SQP 방법보다 안정성과 효율성 면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 ℓ2-패널티 방법이 프록시 알고리즘을 통해 효율적으로 구현될 수 있으며, 그 데 필요한 핵심 알고리즘 구성 요소는 무엇인가?

주요 결과

• 제안된 알고리즘은 Mangasarian-Fromowitz 제약 조건과 목적함수 그래디언트, 제약 야코비안의 Lipschitz 연속성 하에, 정류성 측정값이 ϵ > 0 이하로 내려가는 데 대해 최악의 경우 복잡도 상한 O(ϵ⁻²)를 확보함.
• 패널티 파라미터가 무한히 증가하는 열악한 경우, 복잡도는 O(ϵ⁻⁸)로 악화되며, 이는 이전 연구의 O(ϵ⁻⁵)보다 열악하지만, 이는 적절하게 스케일링된 타당성 측정값의 결과로 설명됨.
• 수치 실험 결과, 제안된 솔버는 표준 테스트 세트의 소규모 문제에서 보조라그랑주 방법보다 더 뛰어난 안정성과 효율성을 보임.
• 일반적으로 함수 평가 횟수가 더 적은 SQP 방법과 비교해도 안정성 면에서 경쟁 가능함.
• 신뢰영역 하위문제의 해를 통한 프록시 연산자 효율적 평가를 통해, 프록시 기법을 사용한 정확한 ℓ2-패널티 방법의 첫 번째 알려진 실용적 구현임.
• 해당 프레임워크는 ℓ1 및 ℓ∞ 등의 다른 노름으로도 확장 가능하며, 조건부로 해당 하위문제의 프록시 연산자가 효율적으로 계산될 수 있을 경우에 한함.