[논문 리뷰] Complexity Analysis of a Stochastic Cubic Regularisation Method under Inexact Gradient Evaluations and Dynamic Hessian Accuracy.

Stefania Bellavia, Gianmarco Gurioli|arXiv (Cornell University)|2020. 01. 29.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 4

한 줄 요약

이 논문은 비볼록 최적화를 위한 적응형, 비정확한 헤시안과 기울기 근사값을 갖는 확률적 삼차 정규화 방법을 제안한다. 결정론적 복잡도 분석을 확률적 설정으로 확장하여, 첫 번째 순서 정류점으로의 수렴이 O(ε^(-3/2))의 기대 반복 횟수 내에 달성됨을 증명하며, 비정확성과 유한한 오차 분산 조건 하에서도 알려진 최악의 경우 최적 복잡도와 일치함을 보여준다.

ABSTRACT

We here adapt an extended version of the adaptive cubic regularisation method with dynamic inexact Hessian information for nonconvex optimisation in [2] to the stochastic optimisation setting. While exact function evaluations are still considered, this novel variant inherits the innovative use of adaptive accuracy requirements for Hessian approximations introduced in [2] and additionally employs inexact computations of the gradient. Without restrictions on the variance of the errors, we assume that these approximations are available within a sufficiently large, but fixed, probability and we extend, in the spirit of [13], the deterministic analysis of the framework to its stochastic counterpart, showing that the expected number of iterations to reach a first-order stationary point matches the well known worst-case optimal complexity. This is, in fact, still given by O(epsilon^(-3/2)), with respect to the first-order epsilon tolerance.

연구 동기 및 목표

• 적응형 삼차 정규화 프레임워크를 동적 헤시안 정확도와 함께 확률적 최적화 설정으로 확장하기.
• 오차 분산에 제한이 없는 비정확한 기울기 평가 문제를 해결하기.
• 비정확성과 확률적 근사 보장 조건 하에서도 최악의 경우 반복 복잡도를 유지하기.
• 문헌 [2]의 결정론적 복잡도 분석을 비정확한 기울기와 헤시안 근사값을 갖는 확률적 설정으로 일반화하기.
• 기대 반복 횟수가 첫 번째 순서 정류점에 도달하는 데 알려진 최적 복잡도 경계와 일치함을 입증하기.

제안 방법

• 비정확한 기울기 평가를 통합하여 문헌 [2]의 적응형 삼차 정규화 방법을 확률적 최적화로 확장한다.
• 헤시안 근사값에 대한 동적 정확도 요구 조건을 도입하여 최적화 진전에 따라 정밀도를 조정한다.
• 기울기 근사값이 고정된 확률로 제공되며, 분산 제한 없이 제공된다고 가정한다.
• 문헌 [13]의 결정론적 복잡도 프레임워크를 확률적 경우로 확장하여 이론적 보장을 유지한다.
• 근사 오차에 대한 확률적 경계를 사용하여 비정확성 조건 하에서도 수렴을 보장한다.
• 신뢰 영역 유사 메커니즘과 삼차 정규화를 활용하여 스텝 크기를 제어하고 목적 함수의 충분한 감소를 보장한다.

실험 결과

연구 질문

• RQ1 동적 헤시안 정확도를 갖는 적응형 삼차 정규화 방법을 비정확한 기울기를 갖는 확률적 설정으로 확장할 수 있는가?
• RQ2 비정확한 기울기와 헤시안 근사값 조건 하에서 제안된 확률적 방법의 기대 반복 복잡도는 무엇인가?
• RQ3 비정확성 조건 하에서도 최적의 O(ε^(-3/2)) 복잡도 경계를 유지하는가?
• RQ4 근사 품질에 대한 확률적 보장 조건이 수렴성과 복잡도에 어떤 영향을 미치는가?
• RQ5 비정확한 기울기를 갖는 경우에 결정론적 복잡도 분석을 엄밀하게 확률적 설정으로 확장할 수 있는가?

주요 결과

• 제안된 확률적 삼차 정규화 방법은 첫 번째 순서 정류점에 도달하기 위해 기대 반복 횟수 O(ε^(-3/2))를 달성한다.
• 비정확한 기울기와 헤시안 평가 조건 하에서도 알려진 최악의 경우 최적 복잡도 경계와 일치함을 보여, 비볼록 최적화에서 최적의 성능를 유지한다.
• 헤시안 근사값에 대한 적응형 정확도 요구 조건을 유지하며, 이는 최적화 진전에 따라 동적으로 조정된다.
• 기울기 근사 오차의 분산에 제한이 없으며, 오직 근사 제공 가능성이 고정된 확률로 충분히 크다는 조건에 의존한다.
• 이 프레임워크는 [2] 및 [13]의 결정론적 복잡도 분석을 비정확성 조건 하의 확률적 설정으로 성공적으로 일반화한다.
• 기대 반복 횟수가 첫 번째 순서 허용 오차 ε에 대해 최적의 방식으로 스케일링됨을 확인하여, 비정확성 조건 하에서도 강건함을 입증한다.