[논문 리뷰] Global Convergence and Stability of Stochastic Gradient Descent

Vivak Patel, Shushu Zhang외 1명|arXiv (Cornell University)|2021. 10. 04.

Stochastic Gradient Optimization Techniques참고 문헌 27인용 수 7

한 줄 요약

이 논문은 최소한의 가정 하에서 확률적 경사하강법(SGD)의 전역 수렴성과 안정성을 확립하며, 임의의 비볼록성 및 노이즈 모델 하에서 SGD가 전역 수렴하거나 발산할 수 있음을 증명한다. 약간 더 강한 비볼록성과 노이즈의 공동 조건 하에서는 반복값이 발산하더라도 목적 함수가 유계로 유지됨을 보이며, 복잡한 비i.i.d. 노이즈와 비볼록 목표 함수를 가진 실세계 기계학습 문제에 대한 SGD의 이론적 범위를 크게 넓힌다.

ABSTRACT

In machine learning, stochastic gradient descent (SGD) is widely deployed to train models using highly non-convex objectives with equally complex noise models. Unfortunately, SGD theory often makes restrictive assumptions that fail to capture the non-convexity of real problems, and almost entirely ignore the complex noise models that exist in practice. In this work, we make substantial progress on this shortcoming. First, we establish that SGD's iterates will either globally converge to a stationary point or diverge under nearly arbitrary nonconvexity and noise models. Under a slightly more restrictive assumption on the joint behavior of the non-convexity and noise model that generalizes current assumptions in the literature, we show that the objective function cannot diverge, even if the iterates diverge. As a consequence of our results, SGD can be applied to a greater range of stochastic optimization problems with confidence about its global convergence behavior and stability.

연구 동기 및 목표

• 전역 리프시츠 연속성과 유계 기울기 분산과 같은 제한적인 가정에 의존하는 SGD 이론의 격차를 메운다.
• 피드포워드 및 순환 신경망, 포아송 회귀와 같은 실용적 기계학습 문제에서 표준 가정이 실패함을 보여준다.
• 임의의 비볼록성과 노이즈 모델 하에서 SGD를 분석하기 위한 새로운 이론적 프레임워크를 개발한다.
• 반복값이 발산하더라도 SGD가 전역 수렴하거나 안정성을 유지할 조건을 확립한다.
• 복잡한 실세계 스토케스틱 최적화 문제에 적용 가능한 통합된 이론적 기반을 제공한다.

제안 방법

• SGD 반복값의 행동을 제어하기 위해 정류 시간의 수열 $\tau_j$ 를 사용하는 정류 시간 분석을 도입한다.
• 진전을 추적하고 기울기 노름 및 목적 함수 값을 통합하는 리아푸노프 함수 $L(\theta_k, \theta_{k+1})$ 를 정의한다.
• 비리프시츠 기울기 처리를 위해 $(L_0, L_1)$-스무쓰니스와 비균일 단계 크기 규칙을 포함하는 일반화된 스무쓰니스 가정을 사용한다.
• 마르코프 부등식과 기대값 한계를 적용하여 기울기 노름이 높은 확률로 결국 0이 되어야 함을 보인다.
• 기울기 노름이 궤적을 따라 거의 확실히 0으로 수렴함을 확립하며, 이는 정류점으로의 수렴을 의미한다.
• 헤시안과 단계 크기 행렬 $M_k$ 의 성질을 활용하여 반복값의 성장을 통제하고 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 실제 기계학습 문제에서 흔히 볼 수 있는 임의의 비볼록성과 노이즈 모델 하에서 SGD가 전역 수렴하거나 안정성을 유지할 수 있는가?
• RQ2 피드포워드 네트워크와 포아송 회귀와 같은 실용적 모델에서 전역 리프시츠 연속성과 유계 기울기 분산과 같은 표준 가정이 성립하는가?
• RQ3 비볼록성과 노이즈의 어떤 공동 조건 하에서 반복값이 발산하더라도 목적 함수가 여전히 유계로 유지되는가?
• RQ4 유계 분산이나 리프시츠 기울기 가정 없이 SGD의 전역 수렴성을 증명하는 것이 가능한가?
• RQ5 정류 시간 분석과 리아푸노프 함수는 어떤 식으로 약한 가정 하에서 수렴성을 확립하는 데 사용될 수 있는가?

주요 결과

• 임의의 비볼록성과 노이즈 모델 하에서 SGD 반복값은 전역 수렴하거나 발산한다.
• 비볼록성과 노이즈에 대해 略로 강한 공동 조건이 성립할 경우, 반복값이 발산하더라도 목적 함수는 여전히 유계로 유지된다.
• 궤적을 따라 기울기 노름 $\|\dot{F}(\theta_k)\|_2$ 이 거의 확실히 0으로 수렴하며, 이는 정류점으로의 수렴을 의미한다.
• 제시된 가정 하에서 정류 시간 $\tau_j = \infty$ 가 될 확률이 1임을 증명하여 장기적 안정성을 보장한다.
• 분석 결과, 표준 모델인 피드포워드 네트워크와 포아송 회귀에서 스트로크 기울기의 분산이 무한함을 보이며, 이는 일반적인 가정을 무효화한다.
• 이론적 프레임워크는 RNN 학습, 신경망, 포아송 회귀와 같이 고전적 가정이 실패하는 복잡한 실세계 문제에 적용 가능하다.