[논문 리뷰] Gradient Descent based Optimization Algorithms for Deep Learning Models Training

Jiawei Zhang|arXiv (Cornell University)|2019. 03. 11.

Stochastic Gradient Optimization Techniques참고 문헌 10인용 수 45

한 줄 요약

딥 뉴럴 네트워크를 훈련하기 위한 경사하강법 기반 최적화 방법에 대한 포괄적 소개로, vanilla, stochastic, mini-batch, 모멘텀, 네스테로프, 적응 방법(Adagrad, RMSprop, Adadelta), 그리고 Gadam 같은 하이브리드 접근법을 다루며 정형 정의, 방정식, 알고리즘 의사코드를 포함한다.

ABSTRACT

In this paper, we aim at providing an introduction to the gradient descent based optimization algorithms for learning deep neural network models. Deep learning models involving multiple nonlinear projection layers are very challenging to train. Nowadays, most of the deep learning model training still relies on the back propagation algorithm actually. In back propagation, the model variables will be updated iteratively until convergence with gradient descent based optimization algorithms. Besides the conventional vanilla gradient descent algorithm, many gradient descent variants have also been proposed in recent years to improve the learning performance, including Momentum, Adagrad, Adam, Gadam, etc., which will all be introduced in this paper respectively.

연구 동기 및 목표

• 딥 뉴럴 네트워크 훈련을 위한 경사 하강법 기반 최적화를 소개한다.
• 전통적인, 모멘텀, 적응형 그래디언트 방법들을 제시하고 비교한다.
• 핵심 최적화 알고리즘에 대한 형식적 방정식과 의사코드를 제공한다.
• 학습률, 수렴, 서곽점(saddle point)과 같은 실용적 고려사항을 논의한다.

제안 방법

• 딥 네트워크의 학습 목표를 L(theta; T)를 최소화하는 것으로 정의한다.
• 원시 그래디언트 하강법(베니랄), SGD, 및 미니배치 GD의 업데이트 규칙을 제시한다.
• Look-ahead/업데이트 방식과 함께 모멘텀과 네스테로프 가속 그래디언트를 도입한다.
• 적응형 그래디언트 방법(Adagrad, RMSprop, Adadelta)과 파라미터별 학습률을 설명한다.
• 각 방법에 대한 알고리즘 의사코드를 제공하고 수렴 및 안정성 고려사항을 논의한다.

실험 결과

연구 질문

• RQ1 깊은 학습 모델을 훈련하기 위한 기본적인 경사하강법 기반 알고리즘은 무엇이며, 이들이 데이터 사용과 업데이트 규칙에서 어떻게 다른가?
• RQ2 모멘텀과 Look-ahead 방법(Nesterov)은 표준 그래디언트 하강법 대비 수렴을 어떻게 개선하는가?
• RQ3 적응형 그래디언트 방법은 파라미터 간 및 시간 경과에 따라 학습률을 어떻게 조정하며, 그로 인한 트레이드오프는 무엇인가?
• RQ4 학습률, 수렴 기준, 서곽점 등 알고리즘의 학습 안정성과 성능에 영향을 주는 실용적 고려사항은 무엇인가?
• RQ5 하이브리드 접근법(예: Gadam)이 그래디언트 기반 학습과 진화 전략을 결합하여 모델 훈련을 어떻게 최적화할 수 있는가?

주요 결과

• 베니랄 GD, SGD, 미니배치 GD의 업데이트 방정식과 형식적 정의를 제공한다.
• 모멘텀과 네스테로프 가속 그래디언트의 도출과 수렴 행태에 대한 영향력을 설명한다.
• 적응형 그래디언트 방법 Adagrad, RMSprop, Adadelta를 파라미터별 학습률 및 감소 메커니즘과 함께 상세히 설명한다.
• 주요 방법에 대한 알고리즘 의사코드를 제공하여 실무적 구현과 비교를 가능하게 한다.
• 학습률 선택, 조정 및 딥 네트 훈련에서의 서곽점 회피 등 실용적 도전과제를 논의한다.
• 그래디언트 하강과 유전적 진화를 결합한 하이브리드 진화적 그래디언트(Gadam) 개념을 도입한다.