[논문 리뷰] The Step Decay Schedule: A Near Optimal, Geometrically Decaying Learning Rate Procedure For Least Squares

Rong Ge, Sham M. Kakade외 2명|arXiv (Cornell University)|2019. 04. 29.

Stochastic Gradient Optimization Techniques참고 문헌 61인용 수 66

한 줄 요약

이 논문은 streaming least squares에서 다항적으로 감소하는 학습률을 사용하는 SGD의 최종 반복이 서브최적임을 보이고, 기하적(step decay) 스케줄을 도입하여 거의 minimax 속도에 도달하며, 알려진 horizon 설정에서 로그(log) 인자에 의한 거의 최적에 근접함을 보인다.

ABSTRACT

Minimax optimal convergence rates for classes of stochastic convex optimization problems are well characterized, where the majority of results utilize iterate averaged stochastic gradient descent (SGD) with polynomially decaying step sizes. In contrast, SGD's final iterate behavior has received much less attention despite their widespread use in practice. Motivated by this observation, this work provides a detailed study of the following question: what rate is achievable using the final iterate of SGD for the streaming least squares regression problem with and without strong convexity? First, this work shows that even if the time horizon T (i.e. the number of iterations SGD is run for) is known in advance, SGD's final iterate behavior with any polynomially decaying learning rate scheme is highly sub-optimal compared to the minimax rate (by a condition number factor in the strongly convex case and a factor of $\sqrt{T}$ in the non-strongly convex case). In contrast, this paper shows that Step Decay schedules, which cut the learning rate by a constant factor every constant number of epochs (i.e., the learning rate decays geometrically) offers significant improvements over any polynomially decaying step sizes. In particular, the final iterate behavior with a step decay schedule is off the minimax rate by only $log$ factors (in the condition number for strongly convex case, and in T for the non-strongly convex case). Finally, in stark contrast to the known horizon case, this paper shows that the anytime (i.e. the limiting) behavior of SGD's final iterate is poor (in that it queries iterates with highly sub-optimal function value infinitely often, i.e. in a limsup sense) irrespective of the stepsizes employed. These results demonstrate the subtlety in establishing optimal learning rate schemes (for the final iterate) for stochastic gradient procedures in fixed time horizon settings.

연구 동기 및 목표

• 강-볼록성 유무에 따른 streaming least squares에서 SGD의 최종 반복 동작을 특성화한다.
• 다항적으로 감소하는 스텝 크기의 최종 반복이 서브 최적임을 보인다.
• 기하적 감소(Geometric) 스텝 디케이 일정표를 제안하고 분석하여 minimax 속도에 근접함을 보인다.
• 알려진 horizon 결과와 SGD의 anytime(수시로 관찰되는) 극한 거동을 대비한다.
• 합성 최소제곱과 CIFAR-10 잔차 네트워크에 대한 실증 검증을 제공한다.
• horizon 지식을 활용한 하이퍼파라미터 튜닝의 실용적 시사점을 논의한다.

제안 방법

• 잡음과 4차 모멘트 공변량에 대한 가정을 가진 최소제곱 하에서 확률적 기울기 오라클(SGD)을 형식화한다.
• 스텝 크기를 정의한다: 다항 감소 eta_t ~ a/(b+t^alpha)와 기하적(step-decay) 스케줄(알고리즘 1).
• 강-볼록 및 비강-볼록 경우에서 최종 반복에 대한 다항 감소의 서브최적성을 보여주는 하한을 도출한다.
• 스텝 디케이가 거의 minimax 속도를 달성한다는 상한을 증명하며 과잉 위험 상한은 log(T) 인자 하나 차이만을 보인다.
• ResNet-44를 활용한 CIFAR-10에서 감소 스킴을 비교하는 실험을 제시하고 suffix averaging 효과에 대해 논의한다.

실험 결과

연구 질문

• RQ1 고정된 horizon T에서 스트리밍 최소제곱에 대해 SGD의 최종 반복이 minimax 속도에 일치할 수 있는가?
• RQ2 다항 감소하는 스텝 크기가 스텝 디케이 스케줄에 비해 최종 반복 성능이 서브 최적인가?
• RQ3 강-볼록 및 비강-볼록 최소제곱에서 스텝-디케이 스케줄이 minimax 속도에 얼마나 근접하는가?
• RQ4 SGD의 최종 반복의 알려진 horizon과 anytime(수시 관찰) 거동의 차이는 무엇인가?
• RQ5 실세계 네트워크에서의 실험 결과가 스텝-디케이 스케줄의 이론적 이점을 뒷받침하는가?

주요 결과

• 다항감소 스텝 크기는 최종 반복 속도를 서브최적으로 만들고, 차이는 조건수로 확장되며(강하게 볼록한 경우) 혹은 sqrt(T)/log T로 비강하게 볼록한 경우에 확장된다.
• 스텝 디케이 스케줄은 거의 minimax 속도에 도달하며, 알려진 horizon에서 강하게 볼록/비강하게 볼록 모두에서 최종 반복 초과 위험이 log(T) 인자만큼 차이가 난다.
• 강하게 볼록한 경우 하한은 다항 감소의 어떤 최종 반복도 κ 배 만큼 서브최적임을 보이고, 매끄러운 경우에는 √T/log T 차이가 있음을 보인다.
• 스텝-디케이 스킴은 구현에 초기 학습률과 종료 시간 T만 필요하며, 강하게 볼록한 경우 log 인자를 log(kappa)로 줄일 수 있는 정제도 있다.
• SGD의 최종 반복의 anytime(제한적) 거동은 스텝 크기 체계에 관계없이 여전히 형편없고, limsup 서브최적성은 minimax 속도에서 벗어나 있다.
• CIFAR-10에서 ResNet-44를 사용한 실험은 지속적 step-decay(지수적)가 다항 감소를 종종 능가하고, suffix averaging은 비볼록 설정에서 일반화에 해를 끼칠 수 있다.