[논문 리뷰] Gradient Descent Only Converges to Minimizers: Non-Isolated Critical Points and Invariant Regions

Ioannis Panageas, Georgios Piliouras|arXiv (Cornell University)|2016. 05. 02.

Stochastic Gradient Optimization Techniques참고 문헌 24인용 수 43

한 줄 요약

이 논문은 비볼록 최적화에서 임의의 임계점이 비격리되어 있더라도, 약한 미분 가능성 조건과 전방 불변 조건 하에서 경사하강법이 거의 확실히 국소 최소점으로 수렴함을 증명한다. 동역학 시스템과 고유값 분석을 통해 비최소 임계점으로 수렴하는 초기 조건의 측도가 0임을 확립하였으며, 수렴을 보장하는 단계 크기의 명시적 상한을 도출하였다.

ABSTRACT

Given a non-convex twice differentiable cost function f, we prove that the set of initial conditions so that gradient descent converges to saddle points where abla^2 f has at least one strictly negative eigenvalue has (Lebesgue) measure zero, even for cost functions f with non-isolated critical points, answering an open question in [Lee, Simchowitz, Jordan, Recht, COLT2016]. Moreover, this result extends to forward-invariant convex subspaces, allowing for weak (non-globally Lipschitz) smoothness assumptions. Finally, we produce an upper bound on the allowable step-size.

연구 동기 및 목표

• 비볼록 최적화에서 비격리된 안장점으로부터 경사하강법이 회피하는지 규명하는 것.
• 이전 연구에서 전역 리프시츠 연속성 조건과 격리된 임계점 조건을 완화하는 것.
• 약한 미분 가능성 조건 하에서 전방 불변 볼록 도메인으로의 수렴 보장을 확장하는 것.
• 국소 최소점으로 거의 확실히 수렴하기 위한 단계 크기의 명시적 상한을 도출하는 것.
• 복잡한 비볼록 경관에서 경사하강법의 경험적 성공에 대한 이론적 기반을 제공하는 것.

제안 방법

• 경사하강법 궤적의 거동을 분석하기 위해 동역학 시스템, 위상수학, 행렬 해석 도구를 사용한다.
• 전역 리프시츠 조건을 완화하기 위해 전방 불변 볼록 집합의 개념을 적용한다.
• 헤시안의 고유값을 분석하여, 적어도 하나의 음수 고유값을 가진 엄격한 안장점으로 임계점을 분류한다.
• 측도 이론적 접근을 통해 안장점으로 수렴하는 초기 조건의 집합이 르베그 측도 0임을 보인다.
• 헤시안의 스펙트럼 노름을 사용하여 수렴을 보장하는 단계 크기의 상한을 유도한다.
• 비전역 리프시츠 함수와 비격리된 임계점이 존재하는 명시적 예시를 통해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 비볼록 최적화에서 경사하강법은 비격리된 안장점으로부터 회피하는가?
• RQ2 경사하강법이 국소 최소점으로 수렴하는 조건을 유지하면서 경사의 전역 리프시츠 조건을 완화할 수 있는가?
• RQ3 약한 미분 가능성 조건 하에서 국소 최소점으로 수렴하기 위한 최대 허용 단계 크기는 얼마인가?
• RQ4 전방 불변 볼록 도메인이 전역 미분 가능성 조건을 대체할 수 있는가?
• RQ5 비격리된 임계점 설정에서 안장점으로 수렴하는 초기 조건의 측도는 어떻게 행동하는가?

주요 결과

• 헤시안 고유값 중 적어도 하나가 엄격히 음수인 안장점으로 수렴하는 초기 조건의 집합은 르베그 측도 0이다. 이는 비격리된 임계점이 존재하더라도 마찬가지이다.
• 전방 불변 볼록 도메인 하에서 경사하강법은 거의 확실히 국소 최소점으로 수렴한다. 이는 경사가 전역 리프시츠가 아닐 경우에도 마찬가지이다.
• 단계 크기의 명시적 상한은 도메인 내 헤시안의 최대 스펙트럼 노름의 역수로 유도된다.
• 함수 $ f(x,y) = \frac{x^2}{2} + \frac{y^4}{4} - \frac{y^2}{2} $ 에서, $ (-1,1) \times (-2,2) $ 내의 초기 조건은 $ \nabla^2 f $ 가 유계이고 $ \alpha < 1/11 $ 일 때 국소 최소점으로 수렴할 확률이 1이다.
• 단계 크기가 이 상한을 초과할 경우(예: $ \alpha \geq 2 $), 수렴에 실패하고 궤적이 순환하거나 발산할 수 있다.
• 결과는 비격리된 안장점이 실질적으로 경사하강법에서 중요하지 않음을 확인한다. 대칭적이거나 비연속적인 설정에서도 마찬가지이다.