[논문 리뷰] Strong Evaluation Complexity Bounds for Arbitrary-Order Optimization of Nonconvex Nonsmooth Composite Functions

Coralia Cartis, Nicholas I. M. Gould외 1명|arXiv (Cornell University)|2020. 01. 29.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 9

한 줄 요약

이 논문은 비볼록, 비연속 복합 최적화 문제에 대해 강력한 고차수 근사 최소화자를 도입하고, 이를 계산하기 위한 적응형 정규화 알고리즘을 제안한다. 리프시츠 연속성 가정 하에서, 복합이 아닌 문제의 경우 평균 평가 복잡도 한계는 $\mathcal{O}(\epsilon^{-q(p+1)/p})$이며, 복합 문제의 경우 $\mathcal{O}(\epsilon^{-(q+1)})$이다. 이는 복합 설정에서 1을 초월하는 최적성 순서에 대해 알려진 바 없는 첫 번째 복잡도 한계를 제공한다.

ABSTRACT

We introduce the concept of strong high-order approximate minimizers for nonconvex optimization problems. These apply in both standard smooth and composite non-smooth settings, and additionally allow convex or inexpensive constraints. An adaptive regularization algorithm is then proposed to find such approximate minimizers. Under suitable Lipschitz continuity assumptions, whenever the feasible set is convex, it is shown that using a model of degree $p$, this algorithm will find a strong approximate q-th-order minimizer in at most ${\cal O}\left(\max_{1\leq j\leq q}ε_j^{-(p+1)/(p-j+1)} ight)$ evaluations of the problem's functions and their derivatives, where $ε_j$ is the $j$-th order accuracy tolerance; this bound applies when either $q=1$ or the problem is not composite with $q \leq 2$. For general non-composite problems, even when the feasible set is nonconvex, the bound becomes ${\cal O}\left(\max_{1\leq j\leq q}ε_j^{-q(p+1)/p} ight)$ evaluations. If the problem is composite, and either $q > 1$ or the feasible set is not convex, the bound is then ${\cal O}\left(\max_{1\leq j\leq q}ε_j^{-(q+1)} ight)$ evaluations. These results not only provide, to our knowledge, the first known bound for (unconstrained or inexpensively-constrained) composite problems for optimality orders exceeding one, but also give the first sharp bounds for high-order strong approximate $q$-th order minimizers of standard (unconstrained and inexpensively constrained) smooth problems, thereby complementing known results for weak minimizers.

연구 동기 및 목표

• 비볼록, 비연속 복합 함수에 대해 강력한 고차수 근사 최소화자를 체계적으로 정의하고, 비용이 저렴한 제약 조건이 있는 경우에도 적용 가능하도록 한다.
• 기존의 복잡도 분석을 최적성 순서가 1을 초월하는 복합 문제로 확장하여, 이전에 복잡도 한계가 없었던 문제를 다룬다.
• 적응형 정규화 알고리즘을 활용해 고차수 최적화에서 약한 최적성 정의와 강력한 최적성 정의 사이의 격차를 메운다.
• 임의의 모델 차수와 최적성 순서에 대해 복합 문제와 비복합 문제 모두에 대해 최악의 평가 복잡도 한계를 정밀하게 제공한다.

제안 방법

• 임의의 차수로 일반화된 제1차 및 제2차 최적성 조건을 확장한 강력한 근사 q차 최소화자 개념을 도입한다.
• 차수 $p$의 모델을 사용하여 강력한 최소화자에 대한 근사치를 반복적으로 개선하는 적응형 정규화 알고리즘을 제안한다.
• 모델 정확도와 수렴성을 제어하기 위해 차수 $p$까지의 도함수에 대한 리프시츠 연속성 가정을 도입한다.
• 허밋 보간을 사용하여 필요한 도함수 및 함수 값 조건을 만족하는 매끄러운 보간 다항식을 구성한다.
• 함수 및 도함수 평가 횟수의 상한을 구하여, 각 차수 $j\leq q$에 대해 목표 정밀도 $\epsilon_j$를 달성하는 데 필요한 최악의 평가 복잡도를 분석한다. 이는 볼록 또는 비볼록 타당 집합을 가진 문제에 대해 적용된다.
• 문제 구조에 따라 복잡도 한계를 구분한다: 비복합 대 비복합, 볼록 대 비볼록 타당 집합, 모델 차수 $p$

실험 결과

연구 질문

• RQ1 강력한 고차수 근사 최소화자를 비연속 복합 최적화 문제에 대해 엄밀하게 정의하고 적용할 수 있는가?
• RQ2 적응형 정규화 알고리즘을 사용해 이러한 강력한 최소화자를 찾는 데 있어 최악의 평가 복잡도는 무엇인가?
• RQ3 최적성 순서 $q > 1$일 때, 복합 문제와 비복합 문제 간의 복잡도 한계는 어떻게 다를까?
• RQ4 유도된 복잡도 한계는 고차수 최소화자에 대해 $\epsilon$에 대한 의존성 측면에서 정밀한가?
• RQ5 이 틀은 다양한 문제 유형에 걸쳐 약한 최소화자와 강력한 최소화자의 복잡도 분석을 통합할 수 있는가?

주요 결과

• 볼록 타당 집합을 가진 비복합 문제의 경우 평가 복잡도는 $\mathcal{O}\left(\max_{j\in\{1,\ldots,q\}}\epsilon_j^{-(p+1)/(p-j+1)}\right)$이며, 이는 이전의 트러스트 영역 결과보다 향상된 것이다.
• 비볼록 타당 집합을 가진 비복합 문제의 경우 복잡도 한계는 $\mathcal{O}\left(\max_{j\in\{1,\ldots,q\}}\epsilon_j^{-q(p+1)/p}\right)$이며, 이는 약한 최소화자에 대한 이전 결과보다 더 날카롭게 조밀한 것이다.
• 최적성 순서 $q>1$ 또는 비볼록 타당 집합이 있는 복합 문제의 경우 복잡도 한계는 $\mathcal{O}\left(\max_{j\in\{1,\ldots,q\}}\epsilon_j^{-(q+1)}\right)$이며, 이는 이러한 설정에 대해 알려진 바 있는 첫 번째 복잡도 한계이다.
• 복잡도 한계는 $q=1$ 및 $q=2$의 경우 $\epsilon$-의존성 측면에서 정밀하며, 여러 특수 케이스에서 타당성이 입증되었다.
• 이 분석은 복합 문제에서 강력한 고차수 최소화자에 대한 최초의 복잡도 결과를 확립하여, 비연속 비볼록 최적화 분야에서 중요한 격차를 메운다.
• 기존의 약한 최소화자에 대한 연구를 보완하고 현대 최적화 응용 분야에서 고차수 방법의 이론적 기반을 확장한다.