[논문 리뷰] First-order methods almost always avoid saddle points: the case of vanishing step-sizes

Ioannis Panageas, Georgios Piliouras외 1명|arXiv (Cornell University)|2019. 06. 18.

Gaussian Processes and Bayesian Inference참고 문헌 21인용 수 4

한 줄 요약

이 논문은 기울기 하강, 미러 하강, 프록시멀 포인트, 다양체 하강과 같은 1차 최적화 방법이 사라지는 단계 크기(order Ω(1/k))를 사용할 때도 엄밀한 안장점(saddle points)을 거의 확실히 피한다는 것을 입증한다. 시간 비동질적인 동역학계에 대한 새로운 안정 다변량 정리(stable manifold theorem)를 개발함으로써, 저자들은 이전의 일정 단계 크기 조건에 대한 결과를 적응형 및 감소하는 단계 크기로 확장하여 비볼록 최적화 분야에서 오랫동안 남아있던 열린 문제를 해결한다.

ABSTRACT

In a series of papers \cite{LSJR16, PP17, LPP}, it was established that some of the most commonly used first order methods almost surely (under random initializations) and with step-size being small enough, avoid strict saddle points, as long as the objective function $f$ is $C^2$ and has Lipschitz gradient. The key observation was that first order methods can be studied from a dynamical systems perspective, in which instantiations of Center-Stable manifold theorem allow for a global analysis. The results of the aforementioned papers were limited to the case where the step-size $α$ is constant, i.e., does not depend on time (and bounded from the inverse of the Lipschitz constant of the gradient of $f$). It remains an open question whether or not the results still hold when the step-size is time dependent and vanishes with time. In this paper, we resolve this question on the affirmative for gradient descent, mirror descent, manifold descent and proximal point. The main technical challenge is that the induced (from each first order method) dynamical system is time non-homogeneous and the stable manifold theorem is not applicable in its classic form. By exploiting the dynamical systems structure of the aforementioned first order methods, we are able to prove a stable manifold theorem that is applicable to time non-homogeneous dynamical systems and generalize the results in \cite{LPP} for vanishing step-sizes.

연구 동기 및 목표

• 1차 최적화 방법이 사라지는 단계 크기를 사용할 때 엄밀한 안장점을 피하는지 여부에 대한 열린 문제를 해결하기 위해.
• 시간 동질성에서 시간 비동질성으로의 안정 다변량 이론의 적용 범위를 1차 최적화 방법이 유도하는 시간 비동질 시스템으로 확장하기 위해.
• 기울기 하강, 미러 하강, 프록시멀 포인트, 다양체 하강이 랜덤 초기화와 함께 사라지는 단계 크기를 사용할 때 엄밀한 안장점을 거의 확실히 피한다는 것을 증명하기 위해.
• 실제로 널리 사용되는 적응형 및 감소하는 단계 크기 스케줄의 이론적 기반을 마련하기 위해.

제안 방법

• 시간 비동질 시스템에 적용 가능한 새로운 안정 다변량 정리를 개발하여 고전적 안정 다변량 정리를 일반화하기 위해.
• 기울기 하강, 미러 하강, 프록시멀 포인트, 다양체 하강과 같은 1차 방법의 시간에 따라 변하는 단계 크기 하에서의 동역학을 분석하기 위해.
• 비판점에서의 자코비안을 대각화하기 위해 리만 기하학적 변환을 사용하고 국소 선형화 행동을 분석하기 위해.
• 유도된 리만 기하학적 기저에서 엄밀한 안장점의 안정 집합이 측도가 0임을 증명하여 거의 확실한 피하기를 보장하기 위해.
• 업데이트 규칙의 테일러 전개에서 잔여 항이 새로운 정리에 필요한 정규성 조건을 만족함을 검증하기 위해.
• 일반화된 안정 다변량 정리를 적용하여 랜덤 초기화에서 시작하는 궤도가 거의 확실히 엄밀한 안장점을 피함을 보여주기 위해.

실험 결과

연구 질문

• RQ1 사라지는 단계 크기를 사용할 때 1차 최적화 방법이 엄밀한 안장점을 피하는가?
• RQ2 적응형 또는 감소하는 단계 크기를 사용할 때 유도되는 시간 비동질 시스템에 대해 고전적 안정 다변량 정리를 확장할 수 있는가?
• RQ3 미러 하강, 프록시멀 포인트, 다양체 하강이 사라지는 단계 크기를 사용할 때도 엄밀한 안장점의 거의 확실한 피하기가 유지되는가?
• RQ4 비볼록 최적화에서 엄밀한 안장점의 거의 확실한 피하기를 보장하기 위해 단계 크기 수열에 어떤 조건이 필요한가?

주요 결과

• 기울기 하강법에서 단계 크기 αk = Ω(1/k)일 때 랜덤 초기화 하에 엄밀한 안장점을 거의 확실히 피한다.
• 동일한 단계 크기 조건 하에서 미러 하강, 프록시멀 포인트, 다양체 하강에 대해서도 동일한 피하기 성질이 성립한다.
• 시간 비동질 시스템에 대한 새로운 안정 다변량 정리가 입증되어 비자율적 1차 최적화 방법의 전역 분석이 가능해졌다.
• 유도된 리만 기하학적 기저에서 엄밀한 안장점의 안정 집합이 측도가 0이므로 거의 확실한 피하기가 보장된다.
• 함수 x² − y²에 대한 시뮬레이션을 통해 이론적 결과를 실증적으로 검증하였으며, 사라지는 단계 크기는 원점(엄밀한 안장점)을 피하는 반면 매우 느린 감쇠(1/k⁴)는 실패함을 보였다.
• 분석 결과 단계 크기의 선택이 수렴 행동에 상당한 영향을 미치며, 느린 감쇠는 비임계점으로 수렴하게 됨을 확인하였다.