[논문 리뷰] SGD: General Analysis and Improved Rates

Robert M. Gower, Nicolas Loizou외 4명|arXiv (Cornell University)|2019. 01. 27.

Stochastic Gradient Optimization Techniques참고 문헌 41인용 수 41

한 줄 요약

이 논문은 임의의 샘플링을 통한 SGD에 대한 일반 정리를 기대 평활성 프레임워크로 도출하고, 정확한 스텝크기 공식과 최적의 미니배치 크기를 유도하며, 모든 구성요소의 볼록성 비요구 없이 선형 수렴을 증명한다.

ABSTRACT

We propose a general yet simple theorem describing the convergence of SGD under the arbitrary sampling paradigm. Our theorem describes the convergence of an infinite array of variants of SGD, each of which is associated with a specific probability law governing the data selection rule used to form mini-batches. This is the first time such an analysis is performed, and most of our variants of SGD were never explicitly considered in the literature before. Our analysis relies on the recently introduced notion of expected smoothness and does not rely on a uniform bound on the variance of the stochastic gradients. By specializing our theorem to different mini-batching strategies, such as sampling with replacement and independent sampling, we derive exact expressions for the stepsize as a function of the mini-batch size. With this we can also determine the mini-batch size that optimizes the total complexity, and show explicitly that as the variance of the stochastic gradient evaluated at the minimum grows, so does the optimal mini-batch size. For zero variance, the optimal mini-batch size is one. Moreover, we prove insightful stepsize-switching rules which describe when one should switch from a constant to a decreasing stepsize regime.

연구 동기 및 목표

• SGD를 위한 보편적 수렴 프레임워크를 도입하여 균일한 분산 가정 외의 상황에서도 작동하도록 한다.
• 샘플링 체계를 함수의 평활성과 연결하는 기대 평활성 개념을 도입한다.
• 임의 샘플링 분포에 대해 일반적으로 성립하는 수렴 정리를 제공한다.
• 정확한 스텝크기 표현식과 최적의 미니배치 크기를 유도한다.
• 배치 크기가 커질 때 SGD가 그라디언트 디센트와 수렴 속도가 일치하는 조건을 보인다.

제안 방법

• 샘플링 벡터 v를 분포 D에서 뽑아 E[v_i]=1로 설정하여 f(x)의 편향되지 않은 추정치 f_v(x)를 얻는다.
• 기대 평활성 가정 ES(L)을 채택하여 E[||∇f_v(x)−∇f_v(x*)||^2]를 상수 L을 통해 f(x)−f(x*)와 연결한다.
• 유한한 σ^2 = E[||∇f_v(x*)||^2]로 그래디언트 노이즈를 상한하여 균일한 그래디언트 분산 상한 없이도 수렴 분석이 가능하게 한다.
• 정리 3.1: 상수 스텝 γ ∈ (0, 1/(2L)]에서 SGD는 additive noise 항이 있는 선형 수렴을 보이며, 즉 E||x^k−x*||^2 ≤ (1−γμ)^k||x^0−x*||^2 + 2γσ^2/μ 이다.
• 전개 스텝크기 일정 (정리 3.2): γ^k에 대한 명시적 공식과 함께 감소하는 스텝크기 스케줄을 제공하며 더 나은 속도를 얻는다.
• 일반 샘플링에 대해 L과 σ^2를 경계하고(정리 3.6, 정리 3.9) 독립 샘플링, τ-친절 샘플링, 단일 원소 샘플링 및 파티션 샘플링을 논의한다.
• 섹션 4에서의 이터레이션 복잡도에 L과 σ를 대입하여 최적의 미니배치 크기를 구하고 폐쇄 형식의 기준을 제시한다.
• 그래디언트 노이즈가 0인 경우 프레임워크가 해당 상수로 GD 속도 L/μ를 회복하고 미니배치 크기가 n으로 커질수록 GD 속도에 근접한다.
• 단일 원소 및 미니배치 설정에 대한 중요 샘플링 계획(섹션 5)을 실용적으로 개요한다.

실험 결과

연구 질문

• RQ1 임의의 데이터 샘플링 분포에 대해 하나의 일반 프레임워크를 사용하여 SGD를 어떻게 분석할 수 있는가?
• RQ2 기대 평활성 상수 L과 그래디언트 노이즈 σ^2가 샘플링 방식에 따라 어떻게 달라지며, 일반적인 샘플링에 대해 이를 계산하거나 상한을 어떻게 구하는가?
• RQ3 다양한 샘플링 방식에 대해 전체 복잡도를 최소화하는 최적의 미니배치 크기와 학습률 스케줄은 무엇인가?
• RQ4 배치 크기가 n일 때 SGD가 gradient descent 속도를 달성하는 조건은 무엇이며 분산은 수렴에 어떤 영향을 미치는가?

주요 결과

• ES(L) 프레임워크 하에서 μ-준강볼록성으로 선형 수렴하고, 덧붙임 노이즈 항은 γσ^2/μ에 비례한다.
• 미니배치 크기와 샘플링 방식에 의존하는 명시적 스텝크기 선택과 감소하는 스텝크기 regime를 포함하는 provable 속도와 함께 도출된다.
• 독립 샘플링, τ-친절 샘플링, 단일 원소 샘플링, 파티션 샘플링에 대해 기대 평활성 L과 그래디언트 노이즈 σ^2의 폐쇄 형 경계가 도출되어 실용적 매개변수 조정이 가능하다.
• 그래디언트 노이즈 σ^2 = 0인 경우 프레임워크가 그래디언트 디센트 속도 L/μ를 상수로 회복하고, 미니배치 크기가 커질수록 GD 속도에 접근한다.
• 최적의 미니배치 크기와 스텝크기가 노이즈와 평활성을 균형 잡으며, 더 큰 미니배치가 어느 점까지는 이점을 주다가 이후에는 이점이 포화되는 이유를 설명한다.
• ridge 회귀, 로지스틱 회귀 및 PCA 설정에서 이론적 주장을 실험으로 확인하여 ES 프레임워크의 실용성을 입증한다.