[논문 리뷰] Improved second-order evaluation complexity for unconstrained nonlinear optimization using high-order regularized models

Coralia Cartis, Nicholas I. M. Gould외 1명|arXiv (Cornell University)|2017. 08. 14.

Advanced Optimization Algorithms Research참고 문헌 14인용 수 18

한 줄 요약

이 논문은 비선형 최적화에서 제2차 임계점(Second-order critical point)을 찾는 데 있어 평가 복잡도를 향상시키기 위해 고차 미분계수의 순서 $ p \geq 2 $ 를 가진 고차 테일러 모델을 사용하는 적응형 정규화 알고리즘을 제안한다. $ p $-번째 도함수의 리프시츠 연속성과 아래로 유계성 조건 하에서, 이 방법은 이전 결과를 초월하는 개선된 복잡도 한계 $ O\left(\max\left(\epsilon_1^{-(p+1)/p}, \epsilon_2^{-(p+1)/(p-1)}\right)\right) $ 를 달성하며, 제1차 및 제2차 최적성 조건 모두에 대해 기존 결과를 능가한다.

ABSTRACT

The unconstrained minimization of a sufficiently smooth objective function $f(x)$ is considered, for which derivatives up to order $p$, $p\geq 2$, are assumed to be available. An adaptive regularization algorithm is proposed that uses Taylor models of the objective of order $p$ and that is guaranteed to find a first- and second-order critical point in at most $O \left(\max\left( ε_1^{-\frac{p+1}{p}}, ε_2^{-\frac{p+1}{p-1}} ight) ight)$ function and derivatives evaluations, where $ε_1$ and $ε_2 >0$ are prescribed first- and second-order optimality tolerances. Our approach extends the method in Birgin et al. (2016) to finding second-order critical points, and establishes the novel complexity bound for second-order criticality under identical problem assumptions as for first-order, namely, that the $p$-th derivative tensor is Lipschitz continuous and that $f(x)$ is bounded from below. The evaluation-complexity bound for second-order criticality improves on all such known existing results.

연구 동기 및 목표

• 비선형 최적화에서 제2차 임계점(Second-order critical point)을 찾는 데 있어 평가 복잡도를 줄이는 것.
• 이전에 제1차 최적성에 대해 개선된 복잡도를 달성한 고차 정규화 방법을 제2차 최적성으로 확장하는 것.
• 동일한 조건인 $ p $-번째 도함수의 리프시츠 연속성과 아래로 유계성 하에서 기존 결과를 초월하는 복잡도 한계를 설정하는 것.
• 국소적이고 근사적인 모델 최소화 조건 하에서 모델 정확도, 정규화, 수렴 간의 상호작용을 분석하는 것.
• 고차 모델($ p > 2 $)이 삼차 또는 이차 방법보다 더 나은 渐近 복잡도를 제공하는지 확인하는 것.

제안 방법

• 목적 함수 $ f(x) $ 의 $ p $-번째 차수 테일러 모델 $ T_p(x,s) $ 를 사용하며, 이는 $ p \geq 2 $ 에서 차수로 잘라낸다.
• 모델 최소화 과정에서 충분한 감소와 안정성을 확보하기 위해 펜alties 항 $ \sigma_k \|s\|^{p+1} $ 을 포함한 적응형 정규화를 적용한다.
• 예측 감소와 실제 감소 간의 일치도에 따라 조정되는 적응형 알고리즘을 구현하여 정규화 매개변수 $ \sigma_k $ 를 조절한다.
• 국소적, 비정확한 최소화를 통해 정규화된 모델을 최소화하며, 조건 (2.19) 및 (2.20) 을 만족시켜 제1차 및 제2차 임계점에 대한 진전을 확보한다.
• 모든 $ \|\nabla f(x_k)\| \leq \epsilon_1 $ 과 $ \lambda_{\text{left}}(\nabla^2 f(x_k)) \geq -\epsilon_2 $ 가 동시에 만족될 때 알고리즘을 종료한다.
• 재귀적 텐서 노름과 $ p $-번째 도함수의 리프시츠 연속성에 기반하여 수렴성 및 복잡도 한계를 유도한다.

실험 결과

연구 질문

• RQ1 기존의 알려진 $ O(\max(\epsilon_1^{-3/2}, \epsilon_2^{-3})) $ 복잡도 한계를 초월하여 제2차 임계점 찾기의 평가 복잡도를 향상시킬 수 있는가?
• RQ2 정규화를 적용한 고차 테일러 모델($ p \geq 3 $) 이 기존의 삼차나 이차 방법보다 더 날카운 복잡도 한계를 제공하는가?
• RQ3 제1차 복잡도 분석에서 사용된 동일한 가정($ C^{p,1} $, 아래로 유계) 을 바탕으로 제2차 복잡도를 향상시킬 수 있는가?
• RQ4 복잡도는 $ p $ 가 증가함에 따라 어떻게 변화하는가? $ p \to \infty $ 일 때 $ O(\max(\epsilon_1^{-1}, \epsilon_2^{-1})) $ 에 수렴하는가?
• RQ5 근사적인 모델 최소화가 전체 복잡도와 수렴 보장에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 제2차 임계점(Second-order critical point)을 찾는 데 있어 평가 복잡도 $ O\left(\max\left(\epsilon_1^{-(p+1)/p}, \epsilon_2^{-(p+1)/(p-1)}\right)\right) $ 를 달성한다.
• 특히 $ p = 3 $ 일 경우 복잡도는 $ O\left(\max(\epsilon_1^{-4/3}, \epsilon_2^{-2})\right) $ 로 향상되며, 이는 삼차 정규화에 대해 알려진 $ O(\epsilon_2^{-3}) $ 보다 우수하다.
• $ p = 2 $ 일 경우 복잡도 한계는 기존의 표준 결과인 $ O(\max(\epsilon_1^{-3/2}, \epsilon_2^{-3})) $ 로 축소되며, 이는 이전 결과와 일치한다.
• 복잡도 한계는 $ p \to \infty $ 일 때 渐近적으로 $ O(\max(\epsilon_1^{-1}, \epsilon_2^{-1})) $ 에 수렴하며, 이는 중간 정도의 $ p $ 이후에는 수익 감소가 나타남을 시사한다.
• 분석 결과, $ f \in C^{p,1} $, 아래로 유계, $ p $-번째 도함수 리프시츠 연속성이라는 동일한 가정 조건이 제2차 복잡도 향상에 충분함을 보여주며, 제1차 경우와 동일한 조건을 사용한다.
• 모델 하위문제의 근사해만 사용되더라도, 알고리즘은 여전히 전역 수렴성과 복잡도 보장을 유지한다.