[논문 리뷰] Eve: A Gradient Based Optimization Method with Locally and Globally Adaptive Learning Rates

Hiroaki Hayashi, Jayanth Koushik외 1명|arXiv (Cornell University)|2016. 11. 04.

Stochastic Gradient Optimization Techniques참고 문헌 11인용 수 14

한 줄 요약

Eve는 목적 함수 변화와 부적합도를 바탕으로 산출된 피드백 계수 dt를 통해 전역적으로 적응형 학습률을 도입함으로써 Adam을 향상시킨 새로운 적응형 최적화 방법이다. 실험적으로, Eve는 수동으로 감쇠 초깃값을 조정할 필요 없이, CNN 및 RNN에서 Adam과 감쇠 전략에 비해 더 빠른 수렴 속도와 뛰어난 성능을 달성한다.

ABSTRACT

Adaptive gradient methods for stochastic optimization adjust the learning rate for each parameter locally. However, there is also a global learning rate which must be tuned in order to get the best performance. In this paper, we present a new algorithm that adapts the learning rate locally for each parameter separately, and also globally for all parameters together. Specifically, we modify Adam, a popular method for training deep learning models, with a coefficient that captures properties of the objective function. Empirically, we show that our method, which we call Eve, outperforms Adam and other popular methods in training deep neural networks, like convolutional neural networks for image classification, and recurrent neural networks for language tasks.

연구 동기 및 목표

• Adam과 같은 적응형 최적화 방법에서 전역 학습률을 수동으로 조정하는 문제를 해결하기 위해.
• 목적 함수의 행동에 기반해 동적으로 전역 학습률을 적응시킴으로써 딥 네ural 네트워크의 학습 수렴 속도와 성능을 향상시키기 위해.
• 철저한 하이퍼파rameter 조정이 필요한 히وري스틱한 학습률 감쇠 스케줄에 의존도를 줄이기 위해.
• 국소적 파라미터별 적응과 목적 함수 피드백을 이용한 전역 학습률 적응을 결합한 방법을 개발하기 위해.

제안 방법

• Eve는 Adam을 수정하여 전역 학습률을 αt = α1/dt로 조정하는 스칼라 계수 dt를 도입한다.
• 계수 dt는 두 가지 성질에 기반하여 계산된다: 연속된 목적 함수 값의 변화(|ft − ft−1|)와 부적합도(f⋆ − ft).
• 높은 변화는 dt를 감소시켜 더 작은 학습률을 유도하고, 높은 부적합도는 dt를 증가시켜 더 큰 학습률을 유도한다.
• dt는 목적 함수 변화와 부적합도의 누적 평균을 사용하여 계산되며, 하이퍼파ram터 β3와 c가 그 민감도를 조절한다.
• Eve는 원래의 Adam 업데이트 규칙을 유지하지만, 고정된 전역 학습률 αt를 αt = α1/dt로 적응형으로 대체한다.
• 알고리즘은 계산적으로 효율적이며, 표준 Adam에 비해 메모리 오버헤드가 최소한이다.

실험 결과

연구 질문

• RQ1 고정 또는 감쇠되는 학습률에 비해 전역적으로 적응형 학습률이 딥 네ural 네트워크 최적화 성능을 향상시킬 수 있는가?
• RQ2 목적 함수의 변화와 부적합도에서 유도된 피드백을 통합하면 더 빠른 수렴과 더 나은 일반화 성능을 달성할 수 있는가?
• RQ3 감쇠 초깃값 하이퍼파rameter 조정 없이 Eve가 Adam과 다른 적응형 최적화 방법을 능가할 수 있는가?
• RQ4 β3와 c에 대한 다양한 하이퍼파ram터 설정에서 Eve의 성능은 얼마나 견고한가?
• RQ5 감쇠 강도 조정이 필요 없이, Eve가 감쇠 전략과 동등하거나 그 이상의 성능을 달성할 수 있는가?

주요 결과

• CIFAR-100 이미지 분류에서 Eve는 Adam과 Adamax를 모두 능가하며 더 빠른 수렴 속도와 더 낮은 최종 손실을 달성한다.
• bAbI-10k 질의응답 작업에서 Eve는 동일한 모델 아키텍처를 사용할 때 Adam보다 더 뛰어난 성능을 보였다.
• Eve는 지수 감쇠, 1/t, 1/√t 감쇠 스케줄에서의 최고 성능을 도달하거나 초월하지만, 감쇠 강도 조정이 필요 없다.
• β3와 c에 대한 다양한 하이퍼파라미터 설정에서도 Eve는 항상 Adam을 능가하며, 기본 설정(β3=0.999, c=10)이 거의 최적의 성능을 내는 것으로 나타났다.
• Adam의 성능는 부적절한 감쇠 강도 설정에 따라 크게 변동하지만, Eve는 모든 테스트 설정에서 안정적이고 뛰어난 성능을 유지한다.
• Eve는 목적 함수 피드백을 이용해 전역 학습률을 자동으로 적응시킴으로써 하이퍼파라미터 조정의 필요성을 줄였다.