[논문 리뷰] On the Almost Sure Convergence of Stochastic Gradient Descent in Non-Convex Problems

Panayotis Mertikopoulos, Nadav Hallak외 2명|arXiv (Cornell University)|2020. 06. 19.

Stochastic Gradient Optimization Techniques참고 문헌 38인용 수 37

한 줄 요약

이 논문은 넓은 스텝 크기 스케줄 하에서 비볼록 목적함수에 대한 SGD의 거의 확실한 수렴을 증명하고, SGD가 확률 1로 엄격한 saddle에서 벗어나며, Hurwicz-정규 최소점으로의 1/n^p 수렴률을 도출하고 이를 실험으로 뒷받침한다.

ABSTRACT

This paper analyzes the trajectories of stochastic gradient descent (SGD) to help understand the algorithm's convergence properties in non-convex problems. We first show that the sequence of iterates generated by SGD remains bounded and converges with probability $1$ under a very broad range of step-size schedules. Subsequently, going beyond existing positive probability guarantees, we show that SGD avoids strict saddle points/manifolds with probability $1$ for the entire spectrum of step-size policies considered. Finally, we prove that the algorithm's rate of convergence to Hurwicz minimizers is $\mathcal{O}(1/n^{p})$ if the method is employed with a $Θ(1/n^p)$ step-size schedule. This provides an important guideline for tuning the algorithm's step-size as it suggests that a cool-down phase with a vanishing step-size could lead to faster convergence; we demonstrate this heuristic using ResNet architectures on CIFAR.

연구 동기 및 목표

• 비 넓은 스텝 사이즈 스케줄 하에서 비볼록 목표에 대해 SGD 궤도의 거의 확실한 수렴을 확립한다.
• SGD가 확률 1로 엄격한 saddle 점/다발을 피한다는 것을 입증한다.
• 감소하는 스텝 사이즈 하에서 Hurwicz-정규 로컬 최소점으로의 수렴 속도를 특성화한다.
• 쿨다운 전략을 포함한 스텝 사이즈 조정에 대한 실용적 통찰을 실험으로 뒷받침한다.

제안 방법

• SGD를 그래디언트 흐름의 Robbins–Monro 이산화로 모델링하고 이를 그래디언트 역학(GD)의 asymptotic pseudotrajectory(APT)로 연구한다.
• 부드러운 정규성 가정과 다양한 스텝 사이즈 γn = Θ(1/n^p) 범위에서 SGD 궤도의 유계성(전적합성)을 보인다.
• APT 이론과 Lyapunov 특성을 활용하여 f가 상수인 크리티컬 세트의 연결 구성요소로의 거의 확실한 수렴을 보인다.
• 균일하게 자극적인 노이즈 가정 하에서 확률적 주장과 중심 매니폴드 분석의 조합을 통해 엄격한 saddle 매니폴드를 거의 확실하게 회피한다.
• γn = Θ(1/n^p)인 경우 정규 Hurwicz 최소점으로의 국소 수렴 속도: E[||Xn − x*||^2] = O(1/n^p).
• 쿨다운의 이점(초기 상수 스텝, 이후 감소하는 스텝 사이즈)을 보여주는 CIFAR-10의 ResNet18과 Shekel 위험 벤치마크에 대한 수치 실험으로 뒷받침한다.

실험 결과

연구 질문

• RQ1 넓은 스텝 사이즈 정책 하에서 비볼록 목적에 대해 SGD가 거의 확실하게 수렴하는가?
• RQ2 확률적 그래디언트 하에서 SGD가 확률 1로 엄격한 saddle 점/다발을 피하는가?
• RQ3 감소하는 스텝 사이즈 γn = Θ(1/n^p)일 때 Hurwicz-정규 로컬 최소점으로의 수렴 속도는 어떠한가?

주요 결과

• SGD 궤도는 f가 상수인 목적의 크리티컬 세트의 연결 구성요소로 거의 확실하게 수렴한다.
• γn = Θ(1/n^p)일 때 SGD는 Hurwicz-정규 로컬 최소점으로의 수렴에 대해 E[||Xn − x*||^2] = O(1/n^p) 를 보인다.
• 주어진 가정 하에서 SGD는 확률 1로 엄격한 saddle 매니폴드를 피하며, 비홀로즈드(비분리된) saddle도 포함한다.
• mild한 가정하에 SGD 궤도의 유계성 증명이 확립되어 APT 프레임워크를 가능하게 한다.
• 실용적 쿨다운 휴리스틱(초기 상수 스텝을 사용하고 이후 감소하는 스텝 사이즈로 전환)이 학습 성능을 향상시킬 수 있으며, ResNet/CIFAR에서 이를 시연한다.
• 결과는 엄격한 유계성 요건 제거 및 광범위한 스텝 사이즈 클래스 허용 등을 통해 기존의 saddle-회피 및 수렴 보장을 확장한다.