[논문 리뷰] Optimality of orders one to three and beyond: characterization and evaluation complexity in constrained nonconvex optimization

Coralia Cartis, Nicholas I. M. Gould외 1명|arXiv (Cornell University)|2017. 05. 20.

Advanced Optimization Algorithms Research인용 수 3

한 줄 요약

이 논문은 일반 부등식 및 등식 제약 조건을 가진 비볼록 최적화 문제에서 근사 제1, 제2, 제3차 임계점을 찾기 위한 이단계 알고리즘을 제안하며, 내부 해법 선택에 따라 평가 복잡도를 분석한다. 일반 부등식 및 등식 제약 조건을 가진 문제에서 제2 및 제3차 임계성에 대한 최초의 복잡도 경계를 확립하면서, 고차 최적성에 대한 페널티 방법의 근본적 한계를 부각한다.

ABSTRACT

Necessary conditions for high-order optimality in smooth nonlinear constrained optimization are explored and their inherent intricacy discussed. A two-phase minimization algorithm is proposed which can achieve approximate first-, second- and third-order criticality and its evaluation complexity is analyzed as a function of the choice (among existing methods) of an inner algorithm for solving subproblems in each of the two phases. The relation between high-order criticality and penalization techniques is finally considered, showing that standard algorithmic approaches will fail if approximate constrained high-order critical points are sought.

연구 동기 및 목표

• 일반 부등식 및 등식 제약 조건을 가진 비볼록 최적화 문제에서 제2 및 제3차 임계점에 대한 평가 복잡도 분석의 격차를 메우기 위해.
• 근사 제1, 제2, 제3차 임계성을 달성하는 이단계 알고리즘의 최악의 평가 복잡도를 분석하기 위해.
• 3차 이상의 최고차 최적성에 도달하는 데 내재된 곤경, 특히 페널라이제이션 기법과의 관계에서.
• 이전 연구 [21]에서 제1차 임계성 조건의 라그랑주 승수의 부호에 대한 오류를 수정하기 위해.
• 표준 페널티 기반 접근 방식이 약한 제약 조건을 가진 고차 임계점을 찾을 때 실패함을 보여주기 위해.

제안 방법

• 이단계 알고리즘 제안: 제1단계는 근사 제1차 임계성을 확보하기 위해 미리 정의된 미니멀 함수를 최소화하고, 제2단계는 제2 및 제3차 임계성을 확보하기 위해 해를 정밀화한다.
• 목적 함수 및 제약 조건 함수에 대해 최대 제3차까지의 고차 테일러 모델을 사용하는 트러스트 영역 유사 전역화 전략을 적용한다.
• 원천 및 이중 불가능성은 각각 정확도 임계값 $\epsilon_{\text{P}}$ 및 $\epsilon_{\text{D}}$로 측정되는 스케일링된 KKT 조건 프레임워크를 사용한다.
• 불등식 제약 조건을 고려한 최적성 조건에 대한 임계성 측정치 $\phi_{\mu,j}^{\Delta_k}$ 를 도입하여 제약 위반에 대한 강건성을 확보한다.
• 각 단계에서 사용되는 내부 알고리즘에 따라 평가 복잡도를 분석하며, 특히 하위문제를 해결하는 데 드는 비용에 중점을 둔다.
• Łojasiewicz 부등식을 적용하여, 특정 조건 하에서 초기 종료가 불가능한 것으로 보여주며, 더 강력한 수렴 행동을 암시한다.

실험 결과

연구 질문

• RQ1 일반 부등식 및 등식 제약 조건을 가진 비볼록 최적화 문제에서 $\epsilon$-근사 제2 및 제3차 임계점을 찾는 데 있어 최악의 평가 복잡도는 무엇인가?
• RQ2 이단계 방법의 내부 알고리즘 선택이 전체 평가 복잡도에 미치는 영향은 무엇인가?
• RQ3 왜 표준 페널티 기반 방법은 등식 제약 조건이 있는 문제에서 고차 임계점을 찾을 때 실패하는가?
• RQ4 일반 부등식 및 등식 제약 조건이 있는 비볼록 최적화 문제에서 3차 이상의 최고차 최적성을 달성하는 데 내재된 곤경은 무엇인가?
• RQ5 임계성 측정치에서 $\|c(x)\|^2$ 대신 $\|c(x)\|$의 기울기를 사용할 경우 제1차 임계성에 대한 복잡도 경계를 강화할 수 있는가?

주요 결과

• 이 논문은 일반 부등식 및 등식 제약 조건을 가진 비볼록 최적화 문제에서 제2 및 제3차 임계점에 대한 최초의 평가 복잡도 경계를 확립한다.
• 이단계 알고리즘은 제1차 임계성에 대해 $O(\epsilon_{\text{P}}^{-1/2}\epsilon_{\text{D}}^{-3/2})$ 평가 복잡도를 달성하며, 이는 고차에까지 확장되며 추가적인 복잡도 요소를 포함한다.
• Łojasiewicz 부등식은 표준 가정 하에서 $\|c(x)\|$의 기울기가 작은 불가능한 점에서의 초기 종료가 불가능하다고 보여주며, 더 강력한 수렴 행동을 암시한다.
• 이전 방법들이 불연속 잔여 모델을 사용하는 것과 달리, 이 방법은 $p$번 연속 미분 가능한 함수를 사용함으로써 제2도 도함수의 불연속성을 피한다.
• 페널티 기반 방법은 등식 제약 조건이 있는 문제에서 고차 임계점을 찾는 데 본질적으로 부적합하며, 알고리즘적 한계로 인해 그러하다.