[논문 리뷰] An Inexact Regularized Newton Framework with a Worst-Case Iteration Complexity of $\mathcal{O}(\epsilon^{-3/2})$ for Nonconvex Optimization

Frank E. Curtis, Daniel P. Robinson외 1명|arXiv (Cornell University)|2017. 08. 01.

Sparse and Compressive Sensing Techniques참고 문헌 13인용 수 4

한 줄 요약

이 논문은 비볼록 최적화를 위한 일반적인 비정확한 정규화 뉴턴 프레임워크를 제안하며, 그래디언트 노름을 ε 이하로 줄이기 위한 최악의 경우 반복 복잡도가 O(ε⁻³/²)이며, 최소 헤시안 고유값이 −ε를 초과함을 보장하기 위한 복잡도는 O(ε⁻³)이다. 이 방법은 정확한 해를 허용하는 기존의 최적 복잡도 방법들인 ARC와 TRACE를 통합하고 확장하며, 일반적이고 융통성 있는 조건 하에 정규화된 보조 문제의 비정확한 해를 허용함으로써 이를 달성한다. 또한 수치 실험에서 순수 입방 정규화보다 뛰어난 성능을 보이는 새로운 하이브리드 알고리즘을 도입한다.

ABSTRACT

An algorithm for solving smooth nonconvex optimization problems is proposed that, in the worst-case, takes $\mathcal{O}(\epsilon^{-3/2})$ iterations to drive the norm of the gradient of the objective function below a prescribed positive real number $\epsilon$ and can take $\mathcal{O}(\epsilon^{-3})$ iterations to drive the leftmost eigenvalue of the Hessian of the objective above $-\epsilon$. The proposed algorithm is a general framework that covers a wide range of techniques including quadratically and cubically regularized Newton methods, such as the Adaptive Regularisation using Cubics (ARC) method and the recently proposed Trust-Region Algorithm with Contractions and Expansions (TRACE). The generality of our method is achieved through the introduction of generic conditions that each trial step is required to satisfy, which in particular allow for inexact regularized Newton steps to be used. These conditions center around a new subproblem that can be approximately solved to obtain trial steps that satisfy the conditions. A new instance of the framework, distinct from ARC and TRACE, is described that may be viewed as a hybrid between quadratically and cubically regularized Newton methods. Numerical results demonstrate that our hybrid algorithm outperforms a cublicly regularized Newton method.

연구 동기 및 목표

• 비볼록 최적화에서 비정확한 정규화 뉴턴 방법을 위한 통합 프레임워크를 개발하여 최적의 최악의 경우 반복 복잡도를 달성하는 것.
• 정확한 방법을 넘어서 보조 문제의 비정확한 해를 허용하면서도 수렴 보장을 유지하는 복잡도 결과를 확장하는 것.
• ARC와 TRACE와 같은 기존의 최적 복잡도 방법들을 하나의 융통성 있는 프레임워크 안에서 통합하고 일반화하는 것.
• 이차 및 입방 정규화의 특성을 결합한 새로운 하이브리드 알고리즘을 도입하여 순수 입방 방법보다 성능을 향상시키는 것.

제안 방법

• 각 시도 단계가 충족해야 할 일반적인 조건을 정의하여, 정규화된 보조 문제의 비정확한 해를 허용한다.
• 요구 조건을 충족하는 시도 단계를 생성하기 위해 근사적으로 해결할 수 있는 새로운 보조 문제를 도입한다.
• 단계 품질을 제어하기 위해 정규화 매개변수를 사용하며, 명시적인 신뢰영역 반경 조정을 피한다.
• 이 프레임워크는 이차 및 입방 정규화 항을 모두 포함하여 하이브리드화를 가능하게 한다.
• 그래디언트 노름과 최소 헤시안 고유값을 줄이기 위해 필요한 반복 수를 분석함으로써 최악의 경우 복잡도 한계를 설정한다.
• 충분한 감소 조건과 곡률 조건에 기반하여 정규화 매개변수를 동적으로 조정한다.

실험 결과

연구 질문

• RQ1 비볼록 최적화에서 O(ε⁻³/²)의 최악의 경우 반복 복잡도를 달성하는 일반적인 비정확한 정규화 뉴턴 프레임워크를 설계할 수 있는가?
• RQ2 보조 문제의 비정확한 해가 수렴 보장 없이도 이러한 프레임워크에 통합될 수 있는가?
• RQ3 이차 및 입방 정규화의 장점을 결합한 하이브리드 알고리즘을 구성할 수 있으며, 순수 입방 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ4 최적의 일阶 및 이阶 복잡도 한계를 확보하기 위해 시도 단계에 필요한 필수 및 충분한 조건는 무엇인가?
• RQ5 제안된 프레임워크는 ARC와 TRACE와 같은 기존의 최적 복잡도 방법들을 어떻게 통합하고 일반화하는가?

주요 결과

• 제안된 프레임워크는 그래디언트 노름을 ε 이하로 줄이기 위해 O(ε⁻³/²)의 최악의 경우 복잡도를 달성하며, 이는 입방 정규화 방법의 최고 성능과 일치한다.
• 헤시안의 왼쪽 끝 고유값이 −ε를 초과함을 보장하기 위한 복잡도 역시 O(ε⁻³)를 달성하며, 이는 ARC와 TRACE의 이阶 복잡도 한계와 일치한다.
• 이차 및 입방 정규화를 조합한 새로운 하이브리드 알고리즘이 도입되었으며, 수치 실험에서 순수 입방 방법(ARC)보다 뛰어난 성능을 보였다.
• ARC와 TRACE를 일반화하여 비정확한 뉴턴 단계를 허용하고, 단계 수락을 위한 일반적인 조건 세트를 사용함으로써 이를 달성한다.
• 수치 결과는 하이브리드 알고리즘이 다양한 테스트 문제에서 ARC보다 반복 수와 함수/도함수 평가 횟수를 줄임을 보여준다.
• 일반적인 조건가 충족된다면, 보조 문제가 비정확하게 해결되더라도 전역 수렴성과 복잡도 보장을 유지한다.