[논문 리뷰] Adaptive Regularization Algorithms with Inexact Evaluations for Nonconvex Optimization

Stefania Bellavia, Gianmarco Gurioli외 2명|arXiv (Cornell University)|2018. 11. 09.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 8

한 줄 요약

이 논문은 비볼록 최적화를 위한 적응형 정규화 알고리즘을 제안하며, 반복에 따라 유연하게 변화하는 부정확성 허용 오차를 사용하여 부정확한 함수 및 도함수 평가를 처리한다. 이 알고리즘은 $ p $-차 도함수를 사용하고 최고차 도함수가 $ \beta $-Hölder 연속일 경우, $ q $-번째 순서의 $ \epsilon $-최소화자를 찾기 위한 최적의 평가 복잡도 한계를 확립한다. 이는 $ O(\rho^{-\frac{p+\beta}{p-q+\beta}}) $회의 반복과 $ O(|\log(\epsilon)|\rho^{-\frac{p+\beta}{p-q+\beta}}) $회의 근사 평가로 이루어진다.

ABSTRACT

A regularization algorithm using inexact function values and inexact derivatives is proposed and its evaluation complexity analyzed. This algorithm is applicable to unconstrained problems and to problems with inexpensive constraints (that is constraints whose evaluation and enforcement has negligible cost) under the assumption that the derivative of highest degree is $β$-Hölder continuous. It features a very flexible adaptive mechanism for determining the inexactness which is allowed, at each iteration, when computing objective function values and derivatives. The complexity analysis covers arbitrary optimality order and arbitrary degree of available approximate derivatives. It extends results of Cartis, Gould and Toint (2018) on the evaluation complexity to the inexact case: if a $q$th order minimizer is sought using approximations to the first $p$ derivatives, it is proved that a suitable approximate minimizer within $ε$ is computed by the proposed algorithm in at most $O(ε^{-\frac{p+β}{p-q+β}})$ iterations and at most $O(|\log(ε)|ε^{-\frac{p+β}{p-q+β}})$ approximate evaluations. An algorithmic variant, although more rigid in practice, can be proved to find such an approximate minimizer in $O(|\log(ε)|+ε^{-\frac{p+β}{p-q+β}})$ evaluations.While the proposed framework remains so far conceptual for high degrees and orders, it is shown to yield simple and computationally realistic inexact methods when specialized to the unconstrained and bound-constrained first- and second-order cases. The deterministic complexity results are finally extended to the stochastic context, yielding adaptive sample-size rules for subsampling methods typical of machine learning.

연구 동기 및 목표

• 함수 값과 도함수 평가가 부정확할 경우 비볼록 최적화 알고리즘의 평가 복잡도 분석에 미치는 격차를 보완한다.
• Cartis 등 (2018)의 통합 정규화 프레임워크를 확장하여 정확한 평가가 아닌 경우에도 최악의 경우 복잡도가 최적인 상태를 유지한다.
• 임의의 모델 차수 $ p $, 임의의 최적성 순서 $ q $, 그리고 $ \beta $-Hölder 연속 최고차 도함수에 대해 복잡도 한계를 제공한다.
• 비제약 및 경계 제약이 있는 문제에 대해 실용적인 1차 및 2차 방법으로 프레임워크를 특수화한다.
• 결정론적 복잡도 결과를 스ტ로스틱 설정으로 확장하여 기계학습 환경에서의 서브샘플링에 대한 샘플 크기 규칙을 유도한다.

제안 방법

• 각 반복에서 함수 및 도함수 평가의 부정확성 허용 오차를 동적으로 조정하는 적응형 정규화 알고리즘을 제안한다.
• 신뢰영역 유사 메커니즘을 사용하여 부정확 평가의 정확도를 제어함으로써 수렴을 위한 충분한 모델 품질을 확보한다.
• 현재 반복점과 목표 정확도 $ \epsilon $에 따라 의존하는 민감한 부정확성 기준을 도입하여 계산 비용과 수렴 보장 간의 균형을 이룬다.
• $ \beta $-Hölder 연속성 하에서 최악의 평가 복잡도를 분석하여 이전의 정확한 평가 결과를 일반화한다.
• $ \epsilon $, $ p $, $ q $, $ \beta $에 대한 복잡도 한계를 유도하며, 부정확성 조건이 존재하더라도 알고리즘이 최적의 복잡도를 유지함을 보여준다.
• 부정확성 조건을 높은 확률로 만족시키기 위해 필요한 샘플 크기의 확률적 한계를 도출함으로써 프레임워크를 스트로스틱 설정으로 확장한다.

실험 결과

연구 질문

• RQ1 함수 및 도함수 평가가 부정확하지만 적응적으로 제어될 경우, 정규화 알고리즘의 최악의 평가 복잡도는 무엇인가?
• RQ2 유연하고 적응적인 정확도 요구 조건 하에서 정확한 평가 방법의 최적 복잡도 한계를 유지할 수 있는가?
• RQ3 부정확성 조건 하에서 최적성 순서 $ q $, 이용 가능한 도함수의 차수 $ p $, 그리고 매끄러움 파라미터 $ \beta $에 따라 복잡도 한계는 어떻게 변화하는가?
• RQ4 스토스틱 서브샘플링 방법에서 부정확성 조건을 높은 확률로 만족시키기 위해 필요한 샘플 크기는 얼마인가?
• RQ5 제안된 프레임워크는 실용적으로 계산 가능한 1차 및 2차 최적화 방법을 도출할 수 있는가?

주요 결과

• 제안된 알고리즘은 최대 $ O\big{(}\epsilon^{-\frac{p+\beta}{p-q+\beta}}\big{)} $회의 반복과 $ O\big{(}|\log(\epsilon)|\epsilon^{-\frac{p+\beta}{p-q+\beta}}\big{)} $회의 근사 평가로 $ q $-번째 순서의 $ \epsilon $-최소화자를 계산한다.
• 알고리즘의 변종은 $ O\big{(}|\log(\epsilon)| + \epsilon^{-\frac{p+\beta}{p-q+\beta}}\big{)} $회의 평가를 달성하여 상수 항의 로그 의존도를 개선한다.
• 복잡도 한계는 정확한 평가의 경우 알려진 하한과 일치하므로 최적임을 의미한다.
• 1차 및 2차 방법에 대해, 이 프레임워크는 수치적으로 현실적인 부정확 알고리즘을 도출하며 수렴 보장을 보장한다.
• 스토스틱 설정에서는 서브샘플링에 필요한 샘플 크기의 하한을 제공하여 부정확성 조건이 높은 확률로 만족됨을 보장한다.
• 비용이 저렴한 제약 조건이 있는 문제에 대해서도 결과가 유효하여 비제약 문제를 초월한 범위로 확장된다.