[논문 리뷰] How to Escape Saddle Points Efficiently

Chi Jin, Rong Ge외 3명|arXiv (Cornell University)|2017. 03. 02.

Sparse and Compressive Sensing Techniques참고 문헌 18인용 수 231

한 줄 요약

이 논문은 perturbed gradient descent가 ε-차 2차 정지점을 찾고(그리고 엄격한 saddle 아래에서의 국소 최솟값에 해당) 거의 차원-무시 자유의 반복 복잡도로 찾아내며, polylog 계수까지는 1차 수렴 속도와 일치한다.

ABSTRACT

This paper shows that a perturbed form of gradient descent converges to a second-order stationary point in a number iterations which depends only poly-logarithmically on dimension (i.e., it is almost "dimension-free"). The convergence rate of this procedure matches the well-known convergence rate of gradient descent to first-order stationary points, up to log factors. When all saddle points are non-degenerate, all second-order stationary points are local minima, and our result thus shows that perturbed gradient descent can escape saddle points almost for free. Our results can be directly applied to many machine learning applications, including deep learning. As a particular concrete example of such an application, we show that our results can be used directly to establish sharp global convergence rates for matrix factorization. Our results rely on a novel characterization of the geometry around saddle points, which may be of independent interest to the non-convex optimization community.

연구 동기 및 목표

• 비볼록 최적화에서 사다 포인트를 벗어날 필요성을 동기화하고, 고차원에서의 학습 효율성을 향상시키는 것을 목표로 한다.
• 섭동이 있는 그래디언트-하강 기반의 방법을 개발하여 2차 정지점으로 수렴하게 한다.
• 완만한 매끄러움 및 해시안- Lipschitz 가정하에서 반복 복잡도를 정량화하고 거의 차원-무시 수준의 속도를 보여준다.
• 행렬 인자분해와 같은 문제에의 적용 가능성을 입증하고, 국소 구조의 이점을 논의한다.

제안 방법

• 그래디언트가 작아질 때 랜덤 교란을 추가하는 교란된 그래디언트 하강(PGD) 메타 알고리즘을 제안한다.
• ℓ-매끄럽고 ρ-해essian Lipschitz 목적함수하에서 PGD를 분석하여 ε-차 2차 정지점에 도달하는 시간을 상한한다.
• 임계값 기반의 교란 스케줄을 사용하고, 교란은 d차원 구에서 균일하게 뽑힌다.
• 교란이 사다 포인트 주위의 기하학적 ‘밴드’ 논증을 통해 사다 포인트에서의 탈출을 촉진한다.
• 주요 보장을 얻는 파라미터 선택들(스텝 크기 η = O(1/ℓ), 교란 반경 r, 임계값)을 제공합니다.
• 엄격한 saddle 특성과 국소 강볼록성에서의 설정으로 분석을 확장하여 향상된 속도를 얻는다.

실험 결과

연구 질문

• RQ1 가끔의 교란이 있는 그래디언트 하강이 다항시간 내에 모든 사다 포인트를 탈출할 수 있는가?
• RQ2 ρ-해essian Lipschitz 함수에 대해 ε-차 2차 정지점에 도달하는 반복 복잡도는 무엇인가?
• RQ3 국소 기하학적 구조(엄격한 사다, 국소 강볼록성)가 수렴 속도에 어떤 영향을 미치는가?
• RQ4 이 접근법이 행렬 인자분해와 같은 문제에 대해 전역 수렴 보장을 제시할 수 있는가?

주요 결과

• 교란된 그래디언트 하강은 Õ(ℓ(f(x0)−f*)/ε^2) 반복에서 ε-차 2차 정지성을 달성하며, 다항로그(d) 요인까지는 보정된다.
• 엄격한 saddle 가정하에서, 이 방법은 같은 복잡도 한도 내에서 로컬 최소치를 찾으며, 로그 요인을 제외하고는 같다.
• 국소 강볼록성으로 두 번째 단계에서 수렴이 선형( log(1/ε) )으로 개선된다.
• 행렬 인자분해의 경우 이 프레임워크는 명확한 전역 수렴 속도와 명시적 반복 한계를 제공한다.
• 해석은 교란 후 탈출 확률을 한정하기 위한 사다 포인트 근처의 기하학적 특성(가 느다란 ‘밴드’)을 도입한다.
• 결과는 최대 스텝 크기 Ω(1/ℓ)에서 유지되며, 1차 분석에 비해 유사하다.