[논문 리뷰] Continuous and Discrete-Time Analysis of Stochastic Gradient Descent for Convex and Non-Convex Functions

Xavier Fontaine, Valentin De Bortoli외 1명|arXiv (Cornell University)|2020. 04. 08.

Stochastic Gradient Optimization Techniques참고 문헌 40인용 수 6

한 줄 요약

이 논문은 시간 비균일한 확률미분방정식(SDEs)를 사용하여 확률적 경사하강법(SGD)의 엄밀한 연속시간 근사법을 제공하며, 볼록 함수와 비볼록 함수 모두에 대해 점근적이지 않은 수렴 경계를 가능하게 한다. 이는 이전 연구보다 더 약한 가정 하에 더 날카운 수렴 결과를 확립하고, 비볼록 함수에 대해 유한 시간 수렴을 허용하는 완화된 Łojasiewicz 유형 조건을 통해 도출한다.

ABSTRACT

This paper proposes a thorough theoretical analysis of Stochastic Gradient Descent (SGD) with decreasing step sizes. First, we show that the recursion defining SGD can be provably approximated by solutions of a time inhomogeneous Stochastic Differential Equation (SDE) in a weak and strong sense. Then, motivated by recent analyses of deterministic and stochastic optimization methods by their continuous counterpart, we study the long-time convergence of the continuous processes at hand and establish non-asymptotic bounds. To that purpose, we develop new comparison techniques which we think are of independent interest. This continuous analysis allows us to develop an intuition on the convergence of SGD and, adapting the technique to the discrete setting, we show that the same results hold to the corresponding sequences. In our analysis, we notably obtain non-asymptotic bounds in the convex setting for SGD under weaker assumptions than the ones considered in previous works. Finally, we also establish finite time convergence results under various conditions, including relaxations of the famous Łojasiewicz inequality, which can be applied to a class of non-convex functions.

연구 동기 및 목표

• 이산 SGD와 연속시간 SDE 모델 간 이론적 이해의 격차를 메우기 위해.
• 기존 문헌보다 더 약한 가정 하에 볼록 설정에서 SGD의 점근적이지 않은 수렴 경계를 확립하기 위해.
• 완화된 Łojasiewicz 유형 부등식을 사용하여 비볼록 함수로의 수렴 분석을 확장하기 위해.
• 장기적 행동과 수렴 속도 분석을 위해 SDE에 대한 새로운 비교 기법을 개발하기 위해.
• 연속시간 수렴 결과를 이산 SGD 설정으로 다시 전이하여 이론적 보장을 갖춘 결과를 도출하기 위해.

제안 방법

• 약한 및 강한 근사 정리들을 통해 SGD 재귀식을 시간 비균일 SDE로 수식화하기.
• 장기적 행동과 수렴 속도 분석을 위해 SDE에 대한 새로운 비교 기법을 사용하기.
• 볼록 함수에 대해 기대값의 최적화 갭에 대한 점근적이지 않은 경계를 확립하기.
• 연속시간 분석을 변형하여 SGD 수열에 대한 이산시간 수렴 결과를 도출하기.
• 비볼록 함수에 대해 다항식 감쇠를 처리하기 위해 Łojasiewicz 부등식의 완화된 형태를 도입하기.
• 이러한 완화된 조건 하에 특정 비볼록 함수 클래스에 대해 유한 시간 수렴을 증명하기.

실험 결과

연구 질문

• RQ1 SGD 재귀식은 약한 및 강한 두 가지 의미에서 시간 비균일 SDE로 엄밀하게 근사될 수 있는가?
• RQ2 연속시간 분석을 통해 볼록 최적화에서 SGD의 점근적이지 않은 수렴 경계는 무엇인가?
• RQ3 비볼록 설정에서 유한 시간 수렴을 가능하게 하기 위해 Łojasiewicz 부등식은 어떻게 완화시킬 수 있는가?
• RQ4 장기적 행동과 수렴 속도 분석을 위해 SDE에 대해 필요한 새로운 비교 기법은 무엇인가?
• RQ5 이론적 보장 하에 연속시간 결과는 이산 SGD 설정으로 얼마나 잘 전이될 수 있는가?

주요 결과

• 논문은 이전에 요구된 것보다 더 약한 가정 하에 볼록 함수에서 SGD의 점근적이지 않은 수렴 경계를 확립한다.
• SGD 재귀식이 약한 및 강한 두 가지 의미에서 시간 비균일 SDE로 근사될 수 있음을 증명하며, 이는 연속시간 분석을 가능하게 한다.
• 완화된 Łojasiewicz 유형 조건 하에 특정 비볼록 함수 클래스에 대해 유한 시간 수렴을 도출한다.
• 장기적 행동과 수렴 속도 분석을 지원하기 위해 SDE에 대한 새로운 비교 기법이 개발되었으며, 이는 별도의 이론적 가치를 지닌다.
• 연속시간 분석이 성공적으로 이산 설정으로 전이되어 원래 SGD 수열에 대해 증명 가능한 수렴 결과를 도출한다.
• 이 프레임워크는 이전 연구보다 더 날카운 수렴 경계를 볼록 최적화에서 도출할 수 있으며, 특히 더 제한적이지 않은 가정 하에서도 성능이 뛰어나다.