[논문 리뷰] Newton-MR: Newton's Method Without Smoothness or Convexity

Fred Roosta, Yang Liu외 2명|arXiv (Cornell University)|2018. 09. 30.

Advanced Optimization Algorithms Research참고 문헌 84인용 수 22

한 줄 요약

Newton-MR는 뉴턴-CG 알고리즘의 수정형으로, 볼록성 또는 기울기와 헤시안의 리프시츠 연속성 조건을 필요로 하지 않으면서도 비볼록 문제에 대해 전역 수렴성을 확보한다. 더 약한 공동 정규성 조건을 도입하고 단순한 최소제곱 하위문제를 해결함으로써, 국소 최소값 집합으로의 전역 수렴을 보장하며, 뉴턴-CG의 국소 수렴 성질을 비격리된 최소값을 포함하지 않는 일반화된 경우로 확장한다.

ABSTRACT

Establishing global convergence of Newton-CG has long been limited to making strong convexity assumptions. Hence, many Newton-type variants have been proposed which aim at extending Newton-CG beyond strongly convex problems. However, the analysis of almost all these non-convex methods commonly relies on the Lipschitz continuity assumptions of the gradient and Hessian. Furthermore, the sub-problems of many of these methods are themselves non-trivial optimization problems. Here, we show that two simple modifications of Newton-CG result in an algorithm, called Newton-MR, which offers a diverse range of algorithmic and theoretical advantages. Newton-MR can be applied, beyond the traditional convex settings, to invex problems. Sub-problems of Newton-MR are simple ordinary least squares. Furthermore, by introducing a weaker notion of joint regularity of Hessian and gradient, we establish the global convergence of Newton-MR even in the absence of the usual smoothness assumptions. We also obtain Newton-MR's local convergence guarantee that generalizes that of Newton-CG. Specifically, unlike the local convergence analysis of Newton-CG, which relies on the notion of isolated minimum, our analysis amounts to local convergence to the set of minima.

연구 동기 및 목표

• 비볼록 설정에서 뉴턴-CG의 한계를 극복하기 위해, 강한 볼록성과 부드러움 가정에 의해 제한되는 전역 수렴을 초월하고자 한다.
• 수렴 분석에서 기울기와 헤시안의 리프시츠 연속성에 의존하지 않도록 하기 위해 이를 제거하고자 한다.
• 계산적으로 단순한 하위문제, 특히 일반 최소제곱 문제를 사용하여 실용적 적용성을 향상시키고자 한다.
• 헤시안과 기울기의 더 약한 공동 정규성 조건 하에서 전역 수렴을 확립함으로써, 부드럽고 볼록한 문제 이외의 범위로 뉴턴-CG의 적용 가능성을 넓히고자 한다.
• 국소 수렴 보장을 일반화하여, 격리된 최소값에 국한되지 않고 최소값 집합으로의 수렴을 보장하고자 한다.

제안 방법

• 헤시안과 기울기의 더 약한 공동 정규성 조건을 도입하여 기존의 부드러움 가정을 대체한다.
• 뉴턴-CG를 수정하여, 기울기 또는 헤시안의 리프시츠 연속성 조건 없이도 목적 함수의 충분한 감소를 보장하는 선 탐색 전략을 통합한다.
• 하위문제를 풀기 위해 절단된 공액 기울기 방법을 사용하며, 이때 하위문제가 표준 최소제곱 시스템으로 축소된다.
• 신뢰역 유사 단계 선택 메커니즘을 사용하여, 강한 볼록성이 없더라도 전역 수렴을 보장한다.
• 내림차순과 최소값 집합 향한 진전의 관점에서 알고리즘의 행동을 분석함으로써 수렴성을 확립하며, 격리된 임계점 외의 점들에 대해서만 고려하지 않는다.
• 국소 수렴 분석을 일반화하여, 격리된 최소값에 국한되지 않고 최소값 집합의 임의의 점으로의 수렴을 허용한다.

실험 결과

연구 질문

• RQ1 강한 볼록성 또는 기울기와 헤시안의 리프시츠 연속성 조건을 가정하지 않더라도 뉴턴-CG가 비볼록 문제에 대해 전역 수렴 가능할 수 있는가?
• RQ2 뉴턴형 방법의 하위문제를 일반 최소제곱 문제로 단순화할 수 있으며, 수렴 보장은 유지되는가?
• RQ3 헤시안과 기울기의 더 약한 정규성 조건이 존재하여도 뉴턴-CG 변형의 전역 수렴을 보장할 수 있는가?
• RQ4 국소 수렴을 최소값 집합 전체로 일반화할 수 있는가? 즉, 격리된 최소값에만 국한되지 않는가?
• RQ5 뉴턴형 방법을 설계하여, 강한 볼록성이 없지만 볼록 문제를 일반화한 인벡스 문제에 효과적으로 적용할 수 있는가?

주요 결과

• Newton-MR는 볼록성 또는 기울기와 헤시안의 리프시츠 연속성 조건 없이도 인벡스 문제에 대해 전역 수렴성을 확보한다.
• Newton-MR의 하위문제들은 일반 최소제곱 문제이며, 다른 비볼록 뉴턴 방법에서 복잡한 하위문제를 풀어야 하는 것과 비교해 계산이 크게 단순화된다.
• 헤시안과 기울기의 더 약한 공동 정규성 조건이 전역 수렴을 확보하는 데 충분하며, 이는 뉴턴-CG의 적용 가능 범위를 부드럽고 볼록한 설정을 넘어서 확장한다.
• Newton-MR는 국소 수렴을 최소값 집합으로 일반화하여, 뉴턴-CG의 국소 분석에서 격리된 최소값을 요구하는 가정을 제거한다.
• 알고리즘은 최소한의 부드러움 가정 하에서도 전역 수렴성을 유지하여, 더 넓은 범위의 비연속 및 비볼록 최적화 문제에 적합하다.