[논문 리뷰] On Nonconvex Optimization for Machine Learning: Gradients, Stochasticity, and Saddle Points

Chi Jin, Praneeth Netrapalli외 3명|arXiv (Cornell University)|2019. 02. 13.

Stochastic Gradient Optimization Techniques참고 문헌 46인용 수 58

한 줄 요약

본 논문은 Perturbed Gradient Methods(PGD 및 PSGD)을 분석하여 비볼록 ML에서 사다점에서 효율적으로 벗어나고, 두 번째 차의 정지점(second-order stationary points)을 찾는 데 차원 의존성을 polylogarithmic으로 달성한다.

ABSTRACT

Gradient descent (GD) and stochastic gradient descent (SGD) are the workhorses of large-scale machine learning. While classical theory focused on analyzing the performance of these methods in convex optimization problems, the most notable successes in machine learning have involved nonconvex optimization, and a gap has arisen between theory and practice. Indeed, traditional analyses of GD and SGD show that both algorithms converge to stationary points efficiently. But these analyses do not take into account the possibility of converging to saddle points. More recent theory has shown that GD and SGD can avoid saddle points, but the dependence on dimension in these analyses is polynomial. For modern machine learning, where the dimension can be in the millions, such dependence would be catastrophic. We analyze perturbed versions of GD and SGD and show that they are truly efficient---their dimension dependence is only polylogarithmic. Indeed, these algorithms converge to second-order stationary points in essentially the same time as they take to converge to classical first-order stationary points.

연구 동기 및 목표

• 머신 러닝에서 비볼록 최적화의 연구 필요성과 이론과 실무의 차이를 동기 부여한다.
• 비볼록 문제에 대해 결정적 및 확률적 환경 모두에 대한 수렴 분석을 확장한다.
• 정확도와 차원 함수로서의 반복 복잡도를 경계한다.
• 간단한 교란 체계를 사용해 사다점에서 효율적으로 회피할 수 있음을 보인다.

제안 방법

• 가우시안 교란을 GD 업데이트에 추가하여 Perturbed Gradient Descent(PGD)를 도입한다.
• PGD가 Õ(ε^{-2}) 반복에서 polylog 차원 의존성으로 ε-2차 정지점(second-order stationary point)을 찾는 것을 증명한다.
• 직교화된 교란을 사용하는 Perturbed Stochastic Gradient Descent(PSGD) 및 미니배치 PSGD를 도입한다.
• Lipschitz 가정 하에서 또는 그렇지 않은 경우에도 ε-차 정지점에 도달하기 위한 PSGD의 반복 복잡도를 도출한다.
• 보장을 달성하기 위한 매개변수 설정(스텝 크기 η 및 교란 반경 r)을 제공한다.
• 이전 방법과 비교하여 단일 루프의 단순성 대 이중 루프 대안을 강조한다.

실험 결과

연구 질문

• RQ1 간단한 교란이 고차원에서 그래디언트 방법이 사다점에서 효과적으로 벗어나게 할 수 있는가?
• RQ2 GD, SGD 및 이들의 교란 변형의 ε-차 정지점으로의 수렴에서 차원 의존성은 어떠한가?
• RQ3 교란 방법이 다항식 차원 의존성의 반복 복잡도나 선형 차원 의존성을 달성하는 가정은 어떤 그래디언트/확률적 가정에 의해 보장되는가?

주요 결과

• Perturbed Gradient Descent(PGD)는 Õ(ε^{-2}) 반복에서 ε-두 번째 차 정지점(second-order stationary point)을 찾고 차원 의존성은 polylog에 불과하다.
• Perturbed Stochastic Gradient Descent(PSGD)는 Lipschitz 확률적 그래디언트 하에서 Õ(ε^{-4}) 반복에서 ε-차 정지점을 달성하며 1차 속도에 polylog 차수를 곱한 수준에 맞춘다.
• Lipschitz가 아닌 경우 PSGD는 추가 차수 d의 곱을 수반하여 Õ(d ε^{-4}) 반복이 필요하다.
• Lipschitz 조건이 성립하면 PSGD는 1차 점들에 대해 SGD와 비슷한 속도로, 다만 로그 요인만으로 상향 하락한다.
• 두 번째 차 정지점을 광범위한 비볼록 ML 문제의 충분조건으로 위치시킨다(모든 국소 최적점은 전역최적점이며 사다점은 엄격하다).
• 단일 루프의 간단한 교란 프레임워크가 다중 루프 방법과 비교하여 사다점을 벗어나거나 개선할 수 있다.