[논문 리뷰] Evaluation complexity bounds for smooth constrained nonlinear optimisation using scaled KKT conditions, high-order models and the criticality measure $χ$

Coralia Cartis, Nicholas I. M. Gould외 1명|arXiv (Cornell University)|2017. 05. 13.

Advanced Optimization Algorithms Research참고 문헌 6인용 수 4

한 줄 요약

이 논문은 고차수 모델과 스케일링된 카르누프-쿤-터커(Karush-Kuhn-Tucker, KKT) 조건을 사용하여 매끄럽고 비선형 제약 최적화 문제를 해결할 때의 개선된 최악의 평가 복잡도 경계를 수립한다. 이는 이전 연구보다 더 약한 가정 하에 $ O(\rho^{-1/p} \rho_{\text{D}}^{-(p+1)/p}) $개의 함수 및 도함수 평가로 $ \epsilon $-근사 스케일링된 일阶 임계점에 도달할 수 있음을 보여주며, 이는 볼록 및 비볼록 케이스의 이전 결과를 일반화한다.

ABSTRACT

Evaluation complexity for convexly constrained optimization is considered and it is shown first that the complexity bound of $O(ε^{-3/2})$ proved by Cartis, Gould and Toint (IMAJNA 32(4) 2012, pp.1662-1695) for computing an $ε$-approximate first-order critical point can be obtained under significantly weaker assumptions. Moreover, the result is generalized to the case where high-order derivatives are used, resulting in a bound of $O(ε^{-(p+1)/p})$ evaluations whenever derivatives of order $p$ are available. It is also shown that the bound of $O(ε_P^{-1/2}ε_D^{-3/2})$ evaluations ($ε_P$ and $ε_D$ being primal and dual accuracy thresholds) suggested by Cartis, Gould and Toint (SINUM, 2015) for the general nonconvex case involving both equality and inequality constraints can be generalized to a bound of $O(ε_P^{-1/p}ε_D^{-(p+1)/p})$ evaluations under similarly weakened assumptions. This paper is variant of a companion report (NTR-11-2015, University of Namur, Belgium) which uses a different first-order criticality measure to obtain the same complexity bounds.

연구 동기 및 목표

• 이전 연구들보다 더 약한 가정 하에 제약 조건이 있는 비선형 최적화 문제에 대한 더 날카로운 최악의 평가 복잡도 경계를 수립하는 것.
• 일阶 임계점에 대한 복잡도 경계 $ O(\epsilon^{-3/2}) $를 고차수 도함수의 순서 $ p $로 일반화하여 $ O(\epsilon^{-(p+1)/p}) $ 평가로 이끌어내는 것.
• 비볼록 문제에 대한 복잡도 경계 $ O(\epsilon_{\text{P}}^{-1/2}\epsilon_{\text{D}}^{-3/2}) $를 스케일링된 KKT 조건을 사용하여 고차수 도함수로 일반화하여 $ O(\epsilon_{\text{P}}^{-1/p}\epsilon_{\text{D}}^{-(p+1)/p}) $로 확장하는 것.
• 고차수 모델과 임계도 측정법을 통합하여 비정확 복원 및 신뢰영역 방법의 이론적 기반을 강화하는 것.
• 임계도 측정법 $ \chi $의 사용이 평가 복잡도 경계를 유지하면서도 더 강력한 수렴 보장을 가능하게 함을 보여주는 것.

제안 방법

• 논문은 라그랑주 함수의 그래디언트 노름과 제약 위반도를 라그랑주 승수의 크기로 스케일링한 기반의 임계도 측정법 $ \chi $를 제안한다.
• 목적 함수 및 제약 함수에 대해 순서 $ p $의 고차수 테일러 모델을 사용하며, $ p $-번 연속으로 미분 가능한 함수이면서 $ p $-번째 도함수가 리프시츠 연속임을 가정한다.
• 분석은 원래 KKT 조건을 스케일링하여 사용하며, 원변 및 이중 불가항성은 라그랑주 승수의 크기와 제약 위반 정도에 상대적으로 측정된다.
• 이중 단계 알고리즘을 고려한다: 단계 1은 불가항성 $ \|c(x)\| $를 최소화하며, 단계 2는 고차수 모델을 사용하여 미리 정의된 믹스드 함수를 최소화한다.
• 평가 복잡도는 $ \epsilon_{\text{P}} $-원변 정확도 및 $ \epsilon_{\text{D}} $-이중 정확도를 확보하기 위해 필요한 목적 함수 및 제약 함수/도함수 평가 횟수를 세어 경계를 정의한다.
• 임계도 측정법 $ \chi $는 스케일링에 불변이며 비특이성에 강건한 종료 조건을 정의하는 데 사용된다.

실험 결과

연구 질문

• RQ1 이전에 요구된 것보다 더 약한 가정 하에 $ \epsilon $-근사 일阶 임계점에 도달하기 위한 평가 복잡도 경계 $ O(\epsilon^{-3/2}) $를 달성할 수 있는가?
• RQ2 고차수 모델의 순서 $ p $를 사용할 경우 최악의 평가 복잡도는 무엇이며, 이는 $ \epsilon $에 대해 어떻게 척도화되는가?
• RQ3 비볼록 문제에 대한 복잡도 경계 $ O(\epsilon_{\text{P}}^{-1/2}\epsilon_{\text{D}}^{-3/2}) $는 고차수 도함수와 스케일링된 KKT 조건으로 일반화될 수 있는가?
• RQ4 임계도 측정법 $ \chi $의 사용이 최적화 알고리즘의 강건성과 종료 조건을 어떻게 향상시키는가?
• RQ5 Łojasiewicz 부등식이 실패하는 조건는 무엇이며, 이는 알고리즘의 조기 종료와 어떻게 관련되는가?

주요 결과

• 볼록 제약 조건이 있는 문제에서 $ \epsilon $-근사 일阶 임계점에 도달하기 위한 평가 복잡도는 $ p $-번째 도함수를 사용할 경우 $ O(\epsilon^{-(p+1)/p}) $이며, 이는 이전 결과보다 더 약한 가정 하에 성립한다.
• 등식 및 부등식 제약 조건을 모두 포함하는 일반적인 비선형 제약 문제에 대해 평가 복잡도는 $ O(\epsilon_{\text{P}}^{-1/p}\epsilon_{\text{D}}^{-(p+1)/p}) $로 경계되며, 이는 이전의 $ O(\epsilon_{\text{P}}^{-1/2}\epsilon_{\text{D}}^{-3/2}) $ 경계를 향상시킨다.
• 이 복잡도 경계는 이전 연구들보다 엄격히 더 약한 가정 하에 유도되었으며, 예를 들어 반복점의 균일한 유계성 조건이 없고, 하위문제 해법에 대한 조건이 완화되었다.
• 라그랑주 함수의 그래디언트 노름과 제약 위반도를 기반으로 정의된 임계도 측정법 $ \chi $는 강건하고 스케일링에 불변인 종료 조건을 가능하게 한다.
• Łojasiewicz 부등식이 성립할 경우, 불가항성 점에서의 종료가 일어나기 어려운 것으로 나타나며, 이는 매끄러운 함수에서 일반적인 경우이므로 실질적으로 이러한 점들은 조기 종료로 간주되지 않는다.
• 결과는 비특이성에 강건하며, Birgin 등이 제시한 알고리즘 프레임워크에서 관찰된 종료 행동과 일관되며, 더 강력한 이론적 보장을 제공한다.