[논문 리뷰] Normalized Gradient with Adaptive Stepsize Method for Deep Neural Network Training.

Adams Wei Yu, Qihang Lin외 2명|arXiv (Cornell University)|2017. 07. 16.

Stochastic Gradient Optimization Techniques참고 문헌 3인용 수 21

한 줄 요약

이 논문은 딥 네ural 네트워크 훈련을 위한 일반적인 1차 최적화 프레임워크를 제안한다. 이 프레임워크는 미니배치 스토하스틱 그래디언트를 정규화하고 적응형 스텝 사이즈를 적용한다. 볼록 목표 함수에 대해 비선형 수렴을 달성하며, 특히 깊거나 장기적 의존성이 있는 네트워크에서 MLP, CNN, RNN 전반에 걸쳐 뚜렷한 훈련 속도 향상을 보인다.

ABSTRACT

In this paper, we propose a generic and simple algorithmic framework for first order optimization. The framework essentially contains two consecutive steps in each iteration: 1) computing and normalizing the mini-batch stochastic gradient; 2) selecting adaptive step size to update the decision variable (parameter) towards the negative of the normalized gradient. We show that the proposed approach, when customized to the popular adaptive stepsize methods, such as AdaGrad, can enjoy a sublinear convergence rate, if the objective is convex. We also conduct extensive empirical studies on various non-convex neural network optimization problems, including multi layer perceptron, convolution neural networks and recurrent neural networks. The results indicate the normalized gradient with adaptive step size can help accelerate the training of neural networks. In particular, significant speedup can be observed if the networks are deep or the dependencies are long.

연구 동기 및 목표

• 딥 러닝을 위한 일반적이고 단순한 1차 최적화 프레임워크를 개발하기 위해.
• 그래디언트 정규화와 스텝 사이즈 적응을 통해 훈련 효율을 향상시키기 위해.
• 볼록 목표 함수에 대해 증명 가능한 수렴을 달성하고, 비볼록 신경망 설정에서 경험적 성과를 확보하기 위해.
• 딥 및 순환 네트워크를 포함한 다양한 아키텍처에서 성능을 평가하기 위해.

제안 방법

• 각 반복 단계에서 미니배치 스토하스틱 그래디언트를 계산하고, 이를 단위 길이로 정규화한다.
• 적응형 스텝 사이즈 전략을 사용하여, 정규화된 그래디언트의 반대 방향으로 파라미터를 갱신한다.
• AdaGrad와 같은 기존 적응형 방법과 통합하여 수렴 보장을 유지한다.
• 딥 MLP, CNN, RNN과 같은 비볼록 문제에 이 방법을 적용하여 경험적 평가를 수행한다.
• 정규화 단계가 고차원 파라미터 공간에서 업데이트를 안정화시키고 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 정규화된 그래디언트와 적응형 스텝 사이즈는 깊은 신경망에서 수렴과 훈련 속도 향상에 기여하는가?
• RQ2 AdaGrad와 같은 방법에 적용되었을 때, 이 프레임워크는 볼록 목표 함수에 대해 비선형 수렴을 유지하는가?
• RQ3 딥 MLP, CNN, RNN과 같은 비볼록 문제에서 이 방법은 어떻게 성능을 발휘하는가?
• RQ4 이 방법은 깊거나 장기적 의존성이 있는 아키텍처에서 뚜렷한 속도 향상을 제공하는가?

주요 결과

• AdaGrad에 맞춤형으로 조정된 정규화 그래디언트와 적응형 스텝 사이즈는 볼록 목표 함수에 대해 비선형 수렴을 달성한다.
• 경험적 결과로 복수의 신경망 아키텍처에서 훈련 속도 향상이 관찰되었으며, 이는 깊거나 순환 모델을 포함한다.
• 딥 네트워크와 장기적 의존성이 있는 모델, 예를 들어 RNN에서는 뚜렷한 속도 향상이 관찰된다.
• 정규화가 고차원 비볼록 설정에서 최적화 역학을 안정화시키고 개선한다.