[논문 리뷰] Gradient descent revisited via an adaptive online learning rate

Mathieu Ravaut, Satya Krishna Gorti|arXiv (Cornell University)|2018. 01. 27.

Stochastic Gradient Optimization Techniques참고 문헌 11인용 수 5

한 줄 요약

이 논문은 경사 하강법에 대해 유한 차분을 사용하여 손실 함수의 1차 및 2차 도함수를 근사함으로써 각 반복에서 학습률을 최적화하는 적응형 온라인 학습률을 제안한다. 고정 학습률을 사용하는 SGD 및 Adam보다 초기 수렴 속도가 더 빠르며, 정규화가 없을 경우 과적합 위험이 있다.

ABSTRACT

Any gradient descent optimization requires to choose a learning rate. With deeper and deeper models, tuning that learning rate can easily become tedious and does not necessarily lead to an ideal convergence. We propose a variation of the gradient descent algorithm in the which the learning rate is not fixed. Instead, we learn the learning rate itself, either by another gradient descent (first-order method), or by Newton's method (second-order). This way, gradient descent for any machine learning algorithm can be optimized.

연구 동기 및 목표

• 딥 러닝에서 수작업으로 학습률을 튜닝하는 데 드는 시간과 비효율성을 해결하기 위해.
• 모든 훈련 단계에서 최적의 학습률을 자동으로 학습하는 방법을 개발하여 히우리스틱 스케줄에 의존하는 것을 줄이기 위해.
• 유한 차분을 사용하여 1차 및 2차 최적화 전략을 활용한 학습률 적응 기법을 탐색하기 위해.
• 적응형 학습률이 볼록 및 비볼록 딥 러닝 작업 모두에서 수렴 속도를 가속화할 수 있는지 평가하기 위해.
• 적응형 학습률 방법에서 더 빠른 훈련과 과적합 위험 증가 사이의 트레이드오���을 조사하기 위해.

제안 방법

• 학습률 η(t)는 손실 함수 f(η) = L(w(t) - ηg(t))에 대해 경사 하강법을 사용하여 각 반복에서 업데이트되며, 여기서 g(t)는 시간 t에서의 기울기이다.
• 1차 방법는 유한 차분을 사용하여 f’(η)를 작은 ε로 근사함으로써 f’(η(t))를 추정하고, η(t+1) = η(t) - α·f’(η(t))로 업데이트한다.
• 2차 방법는 뉴턴의 방법을 사용하여 η(t+1) = η(t) - f’(η(t))/f’’(η(t))로 업데이트하며, 2차 도함수는 유한 차분으로 근사한다.
• 이 방법은 각 반복에 대해 다섯 번의 전방 및 역전파를 필요로 한다: 현재 손실을 위한 한 번과, ε-편향된 가중치를 사용하여 1차 및 2차 도함수를 추정하기 위한 네 번이다.
• 알고리즘은 아키텍처 변경 없이 CIFAR-10 및 CIFAR-100에서 선형 회귀, 로지스틱 회귀, 딥 신경망에 적용된다.
• 초기 학습률은 한 번만 설정되며, 이후 메서드는 국소 손실 곡률에 기반해 η(t)를 자동으로 적응한다.

실험 결과

연구 질문

• RQ1 훈련 중에 변화하는 적응형 학습률이 고정 또는 스케줄된 학습률보다 수렴 속도 측면에서 뛰어나게 작용할 수 있는가?
• RQ2 비볼록 딥 러닝 작업에서 1차 방법와 2차 방법의 학습률 적응 기법 성능는 어떻게 비교되는가?
• RQ3 표준 SGD나 Adam에 비해 적응형 학습률 방법이 과적합을 줄이는 데 기여하는가?
• RQ4 유한 차분 근사 오차(ε)가 학습률 업데이트의 안정성과 수렴에 어떤 영향을 미치는가?
• RQ5 적응형 방법에서 수렴한 최종 학습률이 Adam과 같은 표준 최적화 방법의 초기화로 신뢰할 수 있는가?

주요 결과

• 2차 적응형 학습률 방법은 CIFAR-10 및 CIFAR-100에서 고정 학습률 SGD 및 Adam보다 유의미하게 더 빠른 초반 수렴을 달성했으며, 특히 초기 에포크에서 두드러졌다.
• 보스턴 하우징 데이터셋에서, 적응형 방법은 기준선 SGD보다 훈련 손실을 더 빠르게 감소시켜 볼록 설정에서의 효과성을 입증했다.
• 적응형 방법은 종종 훈련 손실을 매우 낮은 수준으로 이끌었지만, 검증 손실은 기준선보다 높아 과적합 위험이 더 높다는 것을 시사했다.
• ResNet 모델에 드롭아웃을 추가함으로써 일반화 갭이 감소하여, 정규화가 적응형 방법에서 과적합을 완화시킬 수 있음을 시사했다.
• 더 높은 훈련 손실에도 불구하고, 검증 정확도는 표준 SGD 및 Adam과 유사하거나 略로 높아 조기 정지와 함께 사용할 경우 강건한 일반화 성능를 보였다.
• 적응형 방법에서 수렴한 최종 학습률은 이론적 분석에서 제안한 최적 값(예: η_opt = 1/λ_max)과 항상 유사했으며, 이는 하이퍼파rameter 검색을 안내하는 데 유용할 수 있음을 시사했다.