[논문 리뷰] First-order Methods Almost Always Avoid Saddle Points

Jason D. Lee, Ioannis Panageas외 4명|arXiv (Cornell University)|2017. 10. 20.

Stochastic Gradient Optimization Techniques참고 문헌 12인용 수 76

한 줄 요약

이 연구는 많은 1차 최적화 방법들이 초기화 이외의 추가적인 2차 정보나 추가 무작위성 없이도 거의 모든 초기화에서 엄격한 안장점을 피한다는 것을 증명한다.

ABSTRACT

We establish that first-order methods avoid saddle points for almost all initializations. Our results apply to a wide variety of first-order methods, including gradient descent, block coordinate descent, mirror descent and variants thereof. The connecting thread is that such algorithms can be studied from a dynamical systems perspective in which appropriate instantiations of the Stable Manifold Theorem allow for a global stability analysis. Thus, neither access to second-order derivative information nor randomness beyond initialization is necessary to provably avoid saddle points.

연구 동기 및 목표

• 비볼록 최적화를 이끌어내는 동인은 보편적으로 퍼지는 안장점과 그것들이 1차 방법에 미치는 영향이다.
• 이전의 그래디언트 디센트 분석을 광범위한 1차 알고리즘으로 일반화한다.
• 확률적 섭동이나 해essian 기반 방법에 의존하지 않고 안장점 회피를 증명하는 통합 프레임워크를 제공한다.

제안 방법

• 1차 알고리즘을 맵 g를 통해 동적 시스템으로 모델링하고 고정점을 분석한다.
• 안정 매니폴드 정리를 이용하여 엄격한 안장점의 전역 안정 집합의 측도가 0임을 보인다.
• 부드러운 매끄러움 가정하에서 야코비안의 가역성(det(Dg(x)) ≠ 0)을 확립하여 측도 0 결과를 적용한다.
• 주요 정리를 그래디언트 디센트, 근접점, 좌표 디센트, 블록 좌표 디센트, 미러 디센트에 적용한다.
• 이러한 방법들에 대해 엄격한 안장점이 불안정한 고정점임을 입증한다.

실험 결과

연구 질문

• RQ1 완만한 규칙성 조건하에서 1차 방법들이 거의 모든 초기화에서 엄격한 안장점을 피하는가?
• RQ2 그래디언트 디센트, 근접점, 좌표 디센트 등 광범위한 알고리즘을 동적 시스템으로 분석하여 안장점 회피를 확립할 수 있는가?
• RQ3 업데이트 맵의 가역성(det(Dg(x)) ≠ 0)이 안장점의 매력점에 대한 안정 매니폴드-type 측도 0 결과를 적용하는 데 충분한가?
• RQ4 이 회피가 확률적 노이즈나 2차 정보 없이도 성립하는가?
• RQ5 표준 비볼록 설정에서 국소 최소값으로의 수렴에 대한 시사점은 무엇인가?

주요 결과

• 완만한 규칙성 조건하에서 1차 방법은 거의 모든 초기화에서 엄격한 안장점을 피한다.
• 결과는 그래디언트 디센트, 근접점, 블록 좌표 디센트, 좌표 디센트, 미러 디센트에 적용된다.
• 안정 매니폴드 정리를 활용한 동적 시스템 접근은 불안정 고정점의 안정 집합이 측도 0임을 보여준다.
• 리프시츠 기울기 가정하에, 엄격한 안장점은 그래디언트 디센트 및 관련 방법들의 불안정한 고정점이다.
• Det(Dg(x)) ≠ 0이 성립하여 측도 0 주장에 기여한다.
• 이 프레임워크는 비볼록 지형에서 전통적인 1차 휴리스틱이 국소 최소값으로 수렴하는 이유에 대한 통일 이론을 제공한다.