[논문 리뷰] High-order Evaluation Complexity of a Stochastic Adaptive Regularization Algorithm for Nonconvex Optimization Using Inexact Function Evaluations and Randomly Perturbed Derivatives

Stefania Bellavia, Gianmarco Gurioli외 2명|arXiv (Cornell University)|2020. 05. 10.

Sparse and Compressive Sensing Techniques인용 수 6

한 줄 요약

이 논문은 비볼록 최적화 문제에 대해 비정확한 함수 평가와 노이즈가 있는 도함수를 다룰 수 있는 확률적 적응형 정규화 알고리즘을 제안한다. 도함수의 리프시츠 연속성 하에, 고차수 근사 최소화자를 계산하는 데 대해 날카로운 O(ε⁻⁽ᵖ⁺¹⁾⁄ᵖ⁻⁹⁺¹⁾) 복잡도 한계를 확립한다. 이는 q=1(볼록 가능해역)과 q=2(비제약)의 경우에 대해 날카로운 보장을 제공하며, 그 외의 경우 O(ε⁻⁰⁽ᵖ⁺¹⁾⁄ᵖ⁾)의 복잡도를 가진다.

ABSTRACT

A stochastic adaptive regularization algorithm allowing random noise in derivatives and inexact function values is proposed for computing strong approximate minimizers of any order for inexpensively constrained smooth optimization problems. For an objective function with Lipschitz continuous $p$-th derivative in a convex neighbourhood of the feasible set and given an arbitrary optimality order $q$, it is shown that this algorithm will, in expectation, compute such a point in at most $O\Bigl(\left(\min_{j\in\{1,\ldots,q\}}\epsilon_j ight)^{-\frac{p+1}{p-q+1}}\Bigr)$ inexact evaluations of $f$ and its derivatives whenever $q=1$ and the feasible set is convex, or $q=2$ and the problem is unconstrained, where $\epsilon_j$ is the tolerance for $j$th order accuracy. This bound becomes at most $O\Bigl(\left(\min_{j\in\{1,\ldots,q\}}\epsilon_j ight)^{-\frac{q(p+1)}{p}}\Bigr)$ inexact evaluations in the other cases if all derivatives are Lipschitz continuous. Moreover these bounds are sharp in the order of the accuracy tolerances.

연구 동기 및 목표

• 비정확한 함수 값과 노이즈가 있는 도함수라는 실용적인 조건 하에서 비볼록 최적화를 위한 강력한 확률적 알고리즘을 개발하는 것.
• 최소한의 계산 복잡도로 부드러운 최적화 문제에 대해 임의의 순서 q의 강력한 근사 최소화자를 계산하는 것.
• 목표 정확도 허용 오차를 달성하기 위해 필요한 비정확한 평가 횟수에 대한 이론적 한계를 설정하는 것.
• 특히 q=1과 q=2에 대해 제약 조건이 있는 경우와 없는 경우의 복잡도를 분석하는 것.
• 각 도함수 순서 j에 대해 정확도 허용 오차 εj에 대한 의존성 측면에서 유도된 복잡도 한계가 날카로운지 확인하는 것.

제안 방법

• 알고리즘은 확률적이고 비정확한 함수 평가 및 무작위로 편향된 도함수를 사용하는 적응형 정규화를 구현한다.
• 모델은 노이즈가 있는 비정확한 도함수 정보에 기반해 업데이트되는 트러스트 영역 유사 프레임워크를 사용한다.
• 이 방법은 가능해역의 볼록 이웃 영역 내에서 p차 도함수의 리프시츠 연속성에 의존한다.
• 핵심 구성 요소는 비정확한 기울기 및 헤시안 추정치에 기반해 정규화 파라미터를 적응적으로 조정하는 것이다.
• 지정된 조건 하에, 알고리즘은 기댓값으로서 q차 최소화자를 수렴시킨다.
• 복잡도 분석은 각 도함수 순서 j에 대해 정확도 허용 오차 εj를 충족시키기 위해 필요한 비정확한 평가 횟수를 근사하는 방식으로 수행된다.

실험 결과

연구 질문

• RQ1 함수 값과 도함수가 비정확하고 노이즈가 있을 때, 확률적 적응형 정규화 알고리즘의 평가 복잡도는 어떻게 되는가?
• RQ2 복잡도는 목표 최적화 순서 q와 각 도함수 순서에 대한 정확도 허용 오차 εj에 어떻게 의존하는가?
• RQ3 비정확성과 노이즈 하에서 고차수 근사 최소화자를 위한 날카로운 복잡도 한계를 설정할 수 있는가?
• RQ4 제약 조건이 있는 경우(q=1)와 없는 경우(q=2)의 한계는 어떻게 다를까?
• RQ5 유도된 복잡도 한계는 정확도 허용 오차 εj에 대한 의존성 측면에서 날카로운가?

주요 결과

• q=1이고 가능해역이 볼록일 경우, 알고리즘은 기댓값으로서 최대 O((minⱼ∈{1,…,q} εj)⁻⁽ᵖ⁺¹⁾⁄ᵖ⁻⁹⁺¹⁾)회의 비정확한 평가를 사용하여 q차 근사 최소화자를 계산한다.
• 비제약 조건에서 q=2인 경우, 동일한 복잡도 한계가 적용된다: 기댓값으로서 O((minⱼ∈{1,…,q} εj)⁻⁽ᵖ⁺¹⁾⁄ᵖ⁻⁹⁺¹⁾)회의 평가가 필요하다.
• 그 외의 모든 경우, 모든 도함수가 리프시츠 연속일 경우 복잡도 한계는 O((minⱼ∈{1,…,q} εj)⁻⁰⁽ᵖ⁺¹⁾⁄ᵖ⁾)로 변한다.
• 유도된 한계는 정확도 허용 오차 εj의 순서에 대해 날카로우며, εj에 대한 더 나은 의존성은 존재하지 않음을 의미한다.
• 목적 함수의 p차 도함수가 가능해역의 볼록 이웃 영역 내에서 리프시츠 연속이라는 가정 하에 결과가 성립한다.
• 이 방법은 도함수의 무작위 편향과 비정확한 평가에 강건하여 실용적인 확률적 최적화에 적합하다.