[논문 리뷰] Gradient Descent Converges to Minimizers

Jason D. Lee, Max Simchowitz외 2명|arXiv (Cornell University)|2016. 02. 16.

Stochastic Gradient Optimization Techniques참고 문헌 28인용 수 123

한 줄 요약

랜덤 초기화와 작은 상수 스텝 크기를 갖는 경사하강법은 엄밀한 saddle 특성을 가진 함수에 대해 거의 확실하게 로컬 최솟값으로 수렴하며, saddle 점이 아니다.

ABSTRACT

We show that gradient descent converges to a local minimizer, almost surely with random initialization. This is proved by applying the Stable Manifold Theorem from dynamical systems theory.

연구 동기 및 목표

• 사다점 장애물을 다루어 비볼록 최적화를 동기 부여한다.
• 완만한 정규성 하에서 랜덤 초기화된 경사하강법이 엄밀한 사다점들을 피한다는 것을 증명한다.
• 작은 스텝 크기 하에서 saddle 점이나 무한대로의 발산이 아닌 로컬 최솟값으로의 수렴을 보인다.
• 해석을 불변 매니폴드 이론과 proximal point 역산 이론에 연결한다.

제안 방법

• 경사 방법을 g(x) = x - α∇f(x)인 이산 동적 시스템으로 모델링한다.
• 자코비안 Dg(x) = I - α∇²f(x)와 안정 매니폴드 정리를 사용하여 임계점 근처의 국부 역학을 특징지운다.
• α < 1/L일 때 g가 미분가능동형사상(diffeomorphism)임을 보이고, 전역 거동을 g^{-k}를 통해 국부 안정집합 W^s_loc와 연관지는다.
• 역gradient 맵의 proximal point 해석을 적용하여 g^{-1}을 구성하고 엄밀한 saddle에 대한 측도-영(mass-zero) 안정집합을 보인다.
• 국부 기하학과 전역 반복 구조를 연결하고 수렴 속도를 위한 Lojasiewicz 유형 불평等을 이용하여 수렴에 대한 함의를 도출한다.

실험 결과

연구 질문

• RQ1 경사하강법의 반복이 랜덤 초기화 하에서 saddle 점으로 수렴하는가?
• RQ2 엄밀한 saddle 특성 하에서 경사 방법은 saddle을 피하고 일정한 스텝 크기로 로컬 최솟값으로 수렴하는가?
• RQ3 스텝 크기(α < 1/L)가 최솟값으로의 수렴을 보장하는 데 어떤 역할을 하는가?
• RQ4 proximal point 해석이 다른 하강 유사 알고리즘으로 결과를 확장할 수 있는가?

주요 결과

• 임의의 시작과 0 < α < 1/L를 갖는 경사하강법은 거의 확실하게 엄밀한 saddle 점을 피한다.
• 엄밀한 saddle의 전역 안정집합은 측도가 0이며, 이는랜덤 초기화 하에서 로컬 최솟값으로의 수렴 또는 무한대로의 발산이 거의 확실하다는 것을 의미한다.
• 반복이 유계라면 주어진 조건 하에서 saddle 점이 아니라 로컬 최솟값으로 수렴한다.
• 결과는 proximal point 알고리즘으로 확장되는데, 그 그래디언트 맵이 미분가능동형이며 역은 -f에 대한 그래디언트 상승으로 주어진다.
• 카운트 가능하거나 고립적이면 어떤 saddle로의 수렴 확률도 0이며, 극한의 존재와 함께 로컬 최솟값으로의 수렴은 거의 확실하다.