[논문 리뷰] Optimal Adaptive and Accelerated Stochastic Gradient Descent

Qi Deng, Yi Cheng외 1명|arXiv (Cornell University)|2018. 10. 01.

Stochastic Gradient Optimization Techniques참고 문헌 5인용 수 8

한 줄 요약

이 논문은 모멘텀(Nesterov 유형 가속)과 적응형 대각 스케일링(AdaGrad/Adam의 영향을 받음)을 통합하는 새로운 적응형 및 가속화된 확률적 경사 하강법인 A2Grad를 제안한다. 수렴 복잡도를 결정론적 및 확률적 성분으로 이론적으로 분해함으로써, A2Grad는 데이터 적응형 스텝사이즈와 유연한 이동 평균 기법을 포함하면서도 최적의 $ϳ(\frac{L}{k^{2}} + \frac{\sigma}{\sqrt{k}})$ 수렴 속도를 달성한다. 딥러닝 벤치마크에서 뛰어난 최적화 및 일반화 성능을 입증하였다.

ABSTRACT

Stochastic gradient descent ( extsc{Sgd}) methods are the most powerful optimization tools in training machine learning and deep learning models. Moreover, acceleration (a.k.a. momentum) methods and diagonal scaling (a.k.a. adaptive gradient) methods are the two main techniques to improve the slow convergence of extsc{Sgd}. While empirical studies have demonstrated potential advantages of combining these two techniques, it remains unknown whether these methods can achieve the optimal rate of convergence for stochastic optimization. In this paper, we present a new class of adaptive and accelerated stochastic gradient descent methods and show that they exhibit the optimal sampling and iteration complexity for stochastic optimization. More specifically, we show that diagonal scaling, initially designed to improve vanilla stochastic gradient, can be incorporated into accelerated stochastic gradient descent to achieve the optimal rate of convergence for smooth stochastic optimization. We also show that momentum, apart from being known to speed up the convergence rate of deterministic optimization, also provides us new ways of designing non-uniform and aggressive moving average schemes in stochastic optimization. Finally, we present some heuristics that help to implement adaptive accelerated stochastic gradient descent methods and to further improve their practical performance for machine learning and deep learning.

연구 동기 및 목표

• 적응형 경사 하강 방법(예: AdaGrad, Adam)과 가속화된(모멘텀 기반) 확률적 경사 하강법을 결합할 때 발생하는 이론적 격차를 메우기 위해.
• 적응형 스텝사이즈와 모멘텀이 확률적 최적화에서 어떻게 상호작용하는지를 설명하는 통합 이론적 프레임워크를 개발하기 위해.
• 부드러운 확률적 최적화에 대해 최적의 수렴 속도를 달성하는 새로운 적응형 가속화된 SGD 방법의 클래스를 설계하기 위해.
• 딥러닝 모델에서의 경험적 성능 향상을 위한 실용적 힌트를 제공하기 위해.
• 지수 이동 평균과 균일 평균이 동일한 이론적 분석에 통합될 수 있으며, 수렴 보장이 가능한지를 입증하기 위해.

제안 방법

• Nesterov의 모멘텀과 적응형 대각 스케일링을 통합한 새로운 적응형 및 가속화된 확률적 경사 하강 방법인 A2Grad를 제안한다.
• 수렴 복잡도의 새로운 분해를 도입: 결정론적 부분(모멘텀에 의해 가속됨)과 확률적 부분(적응형 스텝사이즈에 의해 향상됨).
• 균일 및 비균일 이동 평균 기법을 모두 분석할 수 있는 통합 프레임워크를 사용하며, 지수 이동 평균은 특수 케이스로 포함된다.
• Lipschitz 상수 $L$과 적응형 파라미터 $\beta_0$에 대한 그리드 서치를 활용한 파라미터 추정 전략을 적용하며, 과거 기울기의 이동 평균을 통해 경험적 분산을 추정한다.
• 특성별 분산을 반영하는 $h_k$와 감쇠를 제어하는 $\beta_k$를 포함한 적응형 파라미터 $\gamma_k$와 $\beta_k h_k$를 사용해 업데이트 규칙을 재구성한다.
• 균일 평균과 제곱 가중 평균을 모두 허용하는 하이브리드 이동 평균 기법을 적용하여 최적의 수렴 속도를 유지한다.

실험 결과

연구 질문

• RQ1 적응형 경사 하강 방법을 Nesterov 유형 가속과 성공적으로 결합할 수 있는가? 이 경우 수렴 보장이 유지되는가?
• RQ2 수렴 속도 향상에서 모멘텀(가속)과 적응형 스텝사이즈 사이의 이론적 상호작용은 무엇인가?
• RQ3 지수 이동 평균 기법은 가속화 프레임워크 내에서 이론적으로 정당화될 수 있으며, 거의 최적 또는 최적의 수렴 속도를 달성하는가?
• RQ4 균일 평균을 초월하여 비균일, 데이터 적응형 기법을 포함한 적응형 대각 스케일링을 어떻게 확장할 수 있으며, 이때 최적성은 유지될 수 있는가?
• RQ5 딥러닝에서 적응형 가속화된 SGD의 구현 및 일반화 성능 향상을 위한 실용적 힌트는 무엇인가?

주요 결과

• A2Grad는 부드러운 확률적 최적화에서 최적의 최악의 경우 수렴 속도 $\mathcal{O}(\frac{L}{k^{2}} + \frac{\sigma}{\sqrt{k}})$를 달성하며, 기존에 알려진 최고의 수렴 속도와 일치한다.
• 데이터 적응형 스텝사이즈를 통해 확률적 항 $\frac{\sigma}{\sqrt{k}}$를 향상시켜, 표준 SGD나 Adam보다 더 빠른 수렴을 이룬다.
• 지수 이동 평균은 제안된 프레임워크의 특수 케이스로 밝혀지며, 서브가우시안 가정 하에 거의 최적의 수렴을 달성한다.
• 기울기 노름의 유계성 가정 하에 A2Grad의 수렴 속도는 최적 수준으로 향상되며, 이는 이론적 강건성을 입증한다.
• MNIST 및 CIFAR10에서의 경험적 결과는 A2Grad가 훈련 손실과 테스트 정확도 모두에서 Adam 및 AMSGrad를 능가하거나 동등하게 유지하며, 더 우수한 일반화 성능을 보임을 보여준다.