[논문 리뷰] Newton-Type Methods for Non-Convex Optimization Under Inexact Hessian Information

Peng Xu, Farbod Roosta-Khorasani외 1명|arXiv (Cornell University)|2017. 08. 23.

Sparse and Compressive Sensing Techniques참고 문헌 117인용 수 54

한 줄 요약

이 논문은 불완전 Hessian 정보를 이용한 비볼록 최적화에서 신뢰 영역(trust-region) 및 적응적 큐빗 정규화(ARC) Newton형 방법을 개발하고, 완화된 Hessian 근사 조건 하에서 최적의 반복 복잡성을 확립하며, 고확률 보장을 갖춘 무작위 서브샘플링 전략을 제시한다.

ABSTRACT

We consider variants of trust-region and cubic regularization methods for non-convex optimization, in which the Hessian matrix is approximated. Under mild conditions on the inexact Hessian, and using approximate solution of the corresponding sub-problems, we provide iteration complexity to achieve $ ε$-approximate second-order optimality which have shown to be tight. Our Hessian approximation conditions constitute a major relaxation over the existing ones in the literature. Consequently, we are able to show that such mild conditions allow for the construction of the approximate Hessian through various random sampling methods. In this light, we consider the canonical problem of finite-sum minimization, provide appropriate uniform and non-uniform sub-sampling strategies to construct such Hessian approximations, and obtain optimal iteration complexity for the corresponding sub-sampled trust-region and cubic regularization methods.

연구 동기 및 목표

• 비볼록 최적화에서 불완전 Hessian으로 작동하는 강건한 Newton형 방법의 필요성을 제시한다.
• 실용적인 보장을 갖춘 Hessian 구성을 가능하게 하는 완화된 Hessian 근사 조건을 도입한다.
• 근사적 2차 최적성을 달성하기 위한 수렴 성질과 반복 복잡성을 분석한다.
• finite-sum 설정에서 불완전 Hessian를 구성하기 위한 서브샘플링 전략을 개발하고 평가한다.
• 이전 조건에 대한 이점을 강조하고 대규모 문제에의 적용 가능성을 보여준다.

제안 방법

• 불완전 Hessian하에서 신뢰 영역(trust-region) 및 적응적 큐빗 정규화(ARC) 프레임워크를 연구한다.
• 조건 1을 가정한다: 불완전 Hessian이 (H(x_t)−∇^2F(x_t))s_t에 대한 상한과 H(x_t)에 대한 균일 노름 상한을 만족한다.
• 하위 문제의 근사해(Cauchy 및 Eigenpoint 조건)를 허용하여 감소를 보장한다.
• 조건 1 하에서 최악의 경우의 반복 복잡도가 정확한 변형과 일치함을 보여준다.
• RandNLA 기법을 통한 선험적 가이드 Hessian 구성을 제공한다.
• finite-sum 문제를 위해 Hessian 근사를 높은 확률로 달성하는 서브샘플링 전략을 설계한다.

실험 결과

연구 질문

• RQ1 불완전 Hessian을 사용할 때 신뢰 영역 및 3차 정규화 Newton형 방법이 (ε_g, ε_H)-최적해로 수렴할 수 있는가?
• RQ2 완화된 불완전 Hessian 조건 하에서 달성 가능한 반복 복잡도 경계는 정확한 방법과 비교해 무엇인가?
• RQ3 RandNLA 기반 서브샘플링이 필요한 불완전성 조건을 만족하는 고확률 Hessian 근사를 어떻게 제공할 수 있는가?
• RQ4 서브샘플링된 TR 및 ARC 방법이 finite-sum 문제(P1, P2)에 대해 최적의 2차 복잡성을 유지하는가?
• RQ5 분산 또는 대규모 환경에서 새로운 불완전 Hessian 조건이 이전 조건에 비해 어떤 실용적 이점을 제공하는가?

주요 결과

• 본 논문은 조건 1을 달성하는 불완전 Hessian을 갖춘 TR 및 ARC 변형들이 (ε_g, ε_H)-최적성에 대해 정확한 대응변형들과 동일한 최악의 경우 반복 복잡도를 달성함을 입증한다.
• 더 약하고 유연한 Hessian 근사 조건은 RandNLA 기법을 통한 실용적 선험적 Hessian 구성를 가능하게 한다.
• finite-sum 문제에 대한 서브샘플링 전략은 Hessian 근사가 필요한 정확도(심지어 더 강한 경계)를 만족한다는 고확률 보장을 제공한다.
• 해당 해석은 (P1) 및 (P2)에서 서브샘플링된 TR 및 ARC 방법의 최적 반복 복잡성을 도출한다.
• 제안된 프레임워크는 분산 환경에서 반복에 걸쳐 불완전 Hessian을 고정할 수 있어 통신 및 계산 오버헤드를 감소시킨다.