[논문 리뷰] Neograd: Gradient Descent with a Near-Ideal Learning Rate.

Michael F. Zimmer|arXiv (Cornell University)|2020. 10. 15.

Machine Learning and Algorithms참고 문헌 21인용 수 2

한 줄 요약

Neograd는 업데이트 오차에서 유도된 새로운 지표 $\rho$ 를 사용하여 각 단계에서 학습률을 동적으로 조정하는 일阶 최적화 알고리즘의 가족을 소개한다. 수동 학습률 조정이 필요 없음으로써 NeogradM은 테스트 함수와 MNIST 숫자 인식에서 Adam 및 기타 일阶 방법보다 훨씬 낮은 비용 함수 값을 달성한다.

ABSTRACT

Since its inception by Cauchy in 1847, the gradient descent algorithm has been without guidance as to how to efficiently set the learning rate. This paper identifies a concept, defines metrics, and introduces algorithms to provide such guidance. The result is a family of algorithms (Neograd) based on a {\em constant $ ho$ ansatz}, where $ ho$ is a metric based on the error of the updates. This allows one to adjust the learning rate at each step, using a formulaic estimate based on $ ho$. It is now no longer necessary to do trial runs beforehand to estimate a single learning rate for an entire optimization run. The additional costs to operate this metric are trivial. One member of this family of algorithms, NeogradM, can quickly reach much lower cost function values than other first order algorithms. Comparisons are made mainly between NeogradM and Adam on an array of test functions and on a neural network model for identifying hand-written digits. The results show great performance improvements with NeogradM.

연구 동기 및 목표

• 카를로 1847년의 공식화 이래로 경사 하강법의 최적 학습률 설정에 대한 안내가 부족한 문제를 해결하기 위해.
• 새로운 지표 $\rho$ 를 사용하여 최적화 중에 학습률을 동적으로 조정할 수 있는 원칙적이고 수식 기반의 방법을 개발하기 위해.
• 전체 최적화 과정 동안 시행착오 기반의 학습률 선택이 필요 없도록 하기 위해.
• 일정한 $\rho$ 가설을 기반으로 한 효율적이고 적응형 학습률 스케줄링이 가능한 Neograd라는 알고리즘 가족을 설계하기 위해.
• 기존의 일阶 최적화 방법들(예: Adam)과 비교해 볼 때 NeogradM의 우수한 수렴 성능을 입증하기 위해.

제안 방법

• 업데이트 오차를 측정하는 데 사용되는 지표 $\rho$ 를 도입하여 학습률 적응의 기초를 마련한다.
• 업데이트 오차와 학습률 조정 간의 관계를 모델링하기 위해 일정한 $\rho$ 가설을 활용한다.
• $\rho$ 를 바탕으로 수식 기반의 학습률 업데이트 규칙을 유도하여 추가 하이퍼파rameter 없이 실시간 적응이 가능하게 한다.
• 빠른 수렴을 위해 최적화된 NeogradM을 Neograd 가족의 특정 사례로 설계한다.
• 각 단계에서 이상적인 학습률을 $\rho$ 지표를 사용해 추정하여 파라미터 업데이트의 오차를 최소화한다.
• 단순한 수식 계산을 통해 $\rho$ 와 학습률 업데이트를 수행함으로써 낮은 계산 오버헤드를 유지한다.

실험 결과

연구 질문

• RQ1 경사 하강법에서 수동 조정이 필요 없는 원칙적이고 적응형 학습률 전략을 개발할 수 있는가?
• RQ2 업데이트 오차를 기반으로 한 $\rho$ 지표는 고정 또는 히وري스틱 학습률 스케줄링에 비해 최적화 효율을 어떻게 향상시키는가?
• RQ3 NeogradM은 다양한 테스트 함수에서 비용 함수 최소화 측면에서 Adam 및 기타 일阶 방법보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 Neograd 프레임워크는 실세계 기계 학습 작업(예: MNIST 숫자 분류)에서 더 빠른 수렴과 낮은 최종 비용 값을 달성할 수 있는가?
• RQ5 $\rho$ 지표 유지 및 적응형 학습률 갱신의 계산 비용은 얼마이며, 실제로는 무시할 만큼 낮은가?

주요 결과

• NeogradM은 다양한 테스트 함수에서 Adam 및 기타 일阶 최적화 알고리즘보다 유의미하게 낮은 비용 함수 값을 달성한다.
• Neograd 프레임워크는 고정 학습률을 추정하기 위한 사전 시행 주기 없이도 각 단계에서 학습률을 동적으로 조정할 수 있다.
• 기존의 수동 조정 방식에 비해 $\rho$ 지표 유지 및 학습률 업데이트의 계산 비용은 미미하여, 이 방법은 확장 가능하고 실용적이다.
• 손글씨 숫자 인식을 위한 신경망에서 NeogradM은 Adam보다 뚜렷한 성능 향상을 보였다.
• $\rho$ 지표의 사용은 히وري스틱 및 고정 비율 전략보다 뛰어난 원칙적이고 수식 기반의 학습률 선택 방법을 가능하게 한다.
• 특히 NeogradM을 포함한 Neograd 알고리즘 가족은 합성 벤치마크와 실제 딥 러닝 작업 모두에서 강력한 경험적 성능을 보였다.