[논문 리뷰] Stochastic Gradient Descent with Polyak's Learning Rate

Adam M. Oberman, Mariana Prazeres|arXiv (Cornell University)|2019. 03. 20.

Stochastic Gradient Optimization Techniques참고 문헌 25인용 수 7

한 줄 요약

이 논문은 최적 함수 값 $f^*$의 추정치를 사용하여 학습률을 동적으로 조정하는 폴리악 단계 크기 기반의 적응형 학습률을 갖는 확률적 경사 하강법(SGD) 방법을 제안한다. 이 방법은 비점근 수렴 속도 $\mathcal{O}(1/k)$를 달성하며, 최적 스케줄링된 SGD보다 더 나은 속도 상수를 가짐으로써, 하이퍼파라미터 튜닝 없이도 볼록 문제와 딥 네URAL 네트워크에서 향상된 실용적 수렴 성능을 보여준다.

ABSTRACT

Stochastic gradient descent (SGD) for strongly convex functions converges at the rate $\bO(1/k)$. However, achieving good results in practice requires tuning the parameters (for example the learning rate) of the algorithm. In this paper we propose a generalization of the Polyak step size, used for subgradient methods, to Stochastic gradient descent. We prove a non-asymptotic convergence at the rate $\bO(1/k)$ with a rate constant which can be better than the corresponding rate constant for optimally scheduled SGD. We demonstrate that the method is effective in practice, and on convex optimization problems and on training deep neural networks, and compare to the theoretical rate.

연구 동기 및 목표

• 강한 볼록성 파라미터가 알려져 있지 않은 경우에도 최적 수렴을 위해 학습률 튜닝 문제를 해결하기 위해.
• 원래 하위기울기 방법에 대해 제안된 폴리악 학습률을 확률적 기울기 설정으로 일반화하기 위해.
• 최적 스케줄링된 SGD보다 더 나은 속도 상수를 가진 비점근 수렴 속도 $\mathcal{O}(1/k)$를 달성하기 위해.
• 하이퍼파라미터 수동 튜닝 없이도 볼록 최적화 및 딥 네URAL 네트워크 학습에서의 실용적 효과성을 입증하기 위해.

제안 방법

• $f^*$ 추정을 위해 러닝 최고값 $f_k^{\text{best}}$를 사용하여 폴리악 학습률 $h(x_k) = \frac{f(x_k) - f^*}{\|\partial f(x_k)\|^2}$을 확률적 기울기로 일반화한다.
• 수렴을 위해 $\gamma_k > 0$, $\gamma_k \to 0$, $\sum \gamma_k = \infty$ 조건을 만족하는 적응형 학습률 $h_k = \frac{f(x_k) - f_k^{\text{best}} + \gamma_k}{\|\nabla_{mb}f(x_k)\|^2}$를 사용한다.
• 실제 구현에서는 정확도가 떨어지는 $f^*$ 추정으로 인한 수치적 불안정성을 방지하기 위해 캡처된 버전을 사용한다.
• 모든 반복 $k > 0$ 에 대해 유효한 비점근 수렴 경계 $\mathbb{E}[\|x_k - x^*\|] \leq \frac{C}{k + \gamma}$ 를 유도한다.
• Polyak SGD의 속도 상수 $\alpha_P$ 와 최적 스케줄링된 SGD의 속도 상수 $\alpha_S$ 를 비교하여, 유리한 초기 조건 하에서 $\alpha_P$ 가 더 작을 수 있음을 보여준다.
• 이 방법을 이차 문제와 CIFAR-10에 적용하며, $f^*$를 사전 실행에서 추정한 PyTorch 구현을 사용한다.

실험 결과

연구 질문

• RQ1 폴리악 학습률이 하위기울기 방법에 대해 제안된 바가 있음에도 불구하고, 이를 확률적 기울기 하강법으로 일반화하여 더 나은 수렴 상수를 달성할 수 있는가?
• RQ2 적응형 폴리악 SGD 방법이 최적 스케줄링된 SGD보다 더 나은 속도 상수를 가진 비점근 수렴 속도 $\mathcal{O}(1/k)$를 달성하는가?
• RQ3 이 방법은 하이퍼파라미터 튜닝 없이도 볼록 문제와 딥 러닝 작업에서 어떻게 성능을 발휘하는가?
• RQ4 특히 $f^*$가 사전 학습에서 추정된 경우, 이 방법이 딥 러닝에서 수동 학습률 튜닝을 줄이거나 제거할 수 있는가?

주요 결과

• Polyak SGD 방법은 비점근 수렴 속도 $\mathcal{O}(1/k)$를 달성하며, 속도 상수 $\alpha_P = \frac{2\mu^2}{\sigma^2 + 2\mu^2(L - \mu)q_0}$ 를 가짐으로써, $q_0 \leq \frac{M^2}{2\mu^2(L - \mu)}$ 조건을 만족할 경우 최적 스케줄링된 SGD의 속도 상수 $\alpha_S$ 보다 작아질 수 있다.
• 이차 문제에 대한 수치 실험에서, 40회의 반복 평균 초과 손실 측면에서 Polyak SGD는 표준 및 최적 스케줄링된 SGD를 모두 능가하며, 더 타이트한 이론적 경계를 제공한다.
• 최적점에 가까운 초기화 조건에서, Polyak SGD는 학습률을 빠르게 감소시키고 오버슈트를 방지하지만, 고정 스케줄을 사용하는 스케줄링된 SGD는 양호한 초기화를 활용하지 못한다.
• AllCNN를 사용한 CIFAR-10에서, Polyak SGD는 수동 학습률 튜닝 없이도 잘 튜닝된 SGD 스케줄과 유사한 학습 손실과 테스트 오차를 달성한다.
• 이 방법은 $f^*$ 이외의 하이퍼파라미터를 하나도 필요로 하며, 이는 사전 학습 실행에서 추정 가능하므로 반복적인 학습 시나리오에 실용적이다.
• 이론적 경계는 비점근적이며, 모든 반복 $k > 0$ 에 대해 유효하며, 많은 표준 수렴 결과가 한계에만 적용되는 것과는 달리 이는 중요한 차이점이다.