[논문 리뷰] Stochastic Newton and Cubic Newton Methods with Simple Local Linear-Quadratic Rates

Dmitry Kovalev, Konstantin Mishchenko외 1명|arXiv (Cornell University)|2019. 12. 03.

Stochastic Gradient Optimization Techniques참고 문헌 44인용 수 16

한 줄 요약

이 논문은 한 번의 반복마다 한 개의 기울기와 헤시안을 계산하기만 하여 국소적 선형-이차 수렴을 달성하는 두 가지 새로운 스토하스틱 제2차 방법—스토하스틱 뉴턴(SN) 및 스토하스틱 큐빅 뉴턴(SCN)—을 소개한다. 이는 비편향 추정치나 큰 배치 크기를 요구하지 않으며, 기존 방법들과 달리 편향된 업데이트에도 불구하고 문제의 곡률에 적응하여 일阶 방법보다 빠르게 수렴한다. 이는 제2차 스토하스틱 최적화를 위한 새로운 리아푸노프 함수를 도입함으로써 가능해졌다.

ABSTRACT

We present two new remarkably simple stochastic second-order methods for minimizing the average of a very large number of sufficiently smooth and strongly convex functions. The first is a stochastic variant of Newton's method (SN), and the second is a stochastic variant of cubically regularized Newton's method (SCN). We establish local linear-quadratic convergence results. Unlike existing stochastic variants of second order methods, which require the evaluation of a large number of gradients and/or Hessians in each iteration to guarantee convergence, our methods do not have this shortcoming. For instance, the simplest variants of our methods in each iteration need to compute the gradient and Hessian of a {\em single} randomly selected function only. In contrast to most existing stochastic Newton and quasi-Newton methods, our approach guarantees local convergence faster than with first-order oracle and adapts to the problem's curvature. Interestingly, our method is not unbiased, so our theory provides new intuition for designing new stochastic methods.

연구 동기 및 목표

• 큰 배치 크기나 비편향된 기울기/헤시안 추정치를 요구하지 않으면서도 빠른 국소 수렴을 달성하는 스토하스틱 제2차 방법을 개발하는 것.
• 기존의 스토하스틱 뉴턴 방법이 고분산 또는 편향된 근사치에 의존하여 수렴 성능이 떨어지는 한계를 해결하는 것.
• 문제의 곡률에 적응하여 국소 영역에서 일阶 방법보다 더 빠른 수렴을 달성하는 방법을 설계하는 것.
• 의도적으로 편향된 방법에 대해 수렴 보장을 수립함으로써, 제2차 최적화에서 비편향된 스토하스틱 추정치가 반드시 필요하다는 전통적 가정을 도전하는 것.

제안 방법

• 반복마다 한 개의 무작위로 선택된 함수의 기울기와 헤시안을 사용하여 반복점을 갱신하는 스토하스틱 뉴턴 방법(SN)을 제안한다.
• 국소 수렴과 안정성을 보장하기 위해 큐빅 정규화를 통합한 스토하스틱 큐빅 뉴턴 방법(SCN)을 도입한다.
• 편향된 업데이트에도 불구하고 국소 선형-이차 수렴을 증명하기 위해 제2차 방법에 특화된 새로운 리아푸노프 함수 구축 기법을 사용한다.
• 큐빅 정규화 항을 위한 프록시 부분문제 해법을 사용하여, 닫힌 형태의 프록시 연산자를 통해 효율적인 계산을 가능하게 한다.
• 단일 함수의 기울기와 헤시안만 필요로 하며 총 함수 수 n에 독립적인 단순하고 확장 가능한 업데이트 규칙을 설계한다.
• 큐빅 정규화 파라미터 M을 적응적으로 조정하여, 스토하스틱 방법이 결정론적 방법보다 더 작은 M 값에서도 수렴함을 보였다.

실험 결과

연구 질문

• RQ1 한 번의 반복마다 한 개의 기울기와 헤시안 평가만으로도 국소 선형-이차 수렴을 달성할 수 있는 스토하스틱 제2차 방법이 존재하는가?
• RQ2 왜 편향된 스토하스틱 업데이트도 제2차 방법에서는 여전히 수렴하는가? 이는 어떻게 이론적으로 정당화될 수 있는가?
• RQ3 왜곡 감소나 큰 배치 크기를 사용하지 않더라도, 국소 영역에서 스토하스틱 뉴턴 방법의 수렴 속도가 일阶 방법을 능가할 수 있는가?
• RQ4 스토하스틱 큐빅 뉴턴의 성능은 결정론적 대안과 비교해 볼 때 필요한 정규화 수준과 수렴 속도에서 어떻게 다를까?
• RQ5 편향된 스토하스틱 제2차 방법을 분석하기 위해 필요한 새로운 리아푸노프 함수는 무엇이며, 일阶 설정에서 사용되는 함수와는 어떻게 다를까?

주요 결과

• 제안된 스토하스틱 뉴턴(SN) 및 스토하스틱 큐빅 뉴턴(SCN) 방법은 국소 선형-이차 수렴 속도를 달성하며, 국소 영역에서 일阶 방법을 능가한다.
• 대부분의 스토하스틱 제2차 방법과 달리, SN과 SCN는 한 번의 반복마다 한 개의 기울기와 헤시안 평가만으로도 충분하여 큰 배치 크기를 피한다.
• 이 방법들은 의도적으로 편향되지만, 제2차 스토하스틱 최적화를 위한 새로운 리아푸노프 함수 덕분에 여전히 수렴한다.
• SCN는 결정론적 큐빅 뉴턴보다 훨씬 작은 큐빅 정규화 파라미터 M 값에서도 수렴함을 보여, 더 높은 강건성과 효율성을 나타낸다.
• 로지스틱 회귀에 대한 실험 결과에서, 최적해에서 멀리 떨어져 초기화된 경우 SCN가 결정론적 큐빅 뉴턴을 능가함을 확인했으며, 특히 조건 수가 나쁜 문제에서 두드러진 성능을 보였다.
• 배치 크기가 1인 경우에도 방법이 효과적으로 유지되며, 다른 스토하스틱 제2차 방법들이 고분산 또는 편향으로 인해 실패하는 상황에서도 실용 가능성을 입증했다.