[논문 리뷰] Online Learning Rate Adaptation with Hypergradient Descent

Atılım Güneş Baydin, Robert Cornish외 3명|arXiv (Cornell University)|2017. 03. 14.

Stochastic Gradient Optimization Techniques참고 문헌 27인용 수 77

한 줄 요약

이 논문은 글로벌 학습률을 온라인으로 적응하기 위해 하이퍼그래디언트 하강법을 도입하여 SGD, SGD with Nesterov momentum, 그리고 Adam의 수렴을 개선하면서 학습률 튜닝의 수고를 줄인다.

ABSTRACT

We introduce a general method for improving the convergence rate of gradient-based optimizers that is easy to implement and works well in practice. We demonstrate the effectiveness of the method in a range of optimization problems by applying it to stochastic gradient descent, stochastic gradient descent with Nesterov momentum, and Adam, showing that it significantly reduces the need for the manual tuning of the initial learning rate for these commonly used algorithms. Our method works by dynamically updating the learning rate during optimization using the gradient with respect to the learning rate of the update rule itself. Computing this "hypergradient" needs little additional computation, requires only one extra copy of the original gradient to be stored in memory, and relies upon nothing more than what is provided by reverse-mode automatic differentiation.

연구 동기 및 목표

• 그래디언트 기반 옵티마이저에서 자동 학습률 적응의 필요성을 제시한다.
• 하이퍼그래디언트를 사용하여 온라인으로 학습률을 업데이트하는 일반적이고 계산 및 메모리 효율적인 방법을 제안한다.
• 전형적인 최적화 문제에서 SGD, SGDN, Adam에 하이퍼그래디언트 하강법을 적용하여 방법을 시연한다.
• 하이퍼그래디언트 하강법이 초기 학습률에 대한 의존도를 줄이고 수렴 속도를 높인다는 것을 보여준다.

제안 방법

• 학습률에 대한 목적함수의 도함수를 이용해 학습률에 대해 경사 하강을 수행함으로써 하이퍼그래디언트 하강법을 정의한다.
• 기본 HD 업데이트를 도출한다: α_t = α_{t-1} - β ∂f(θ_{t-1})/∂α 그리고 θ_t = θ_{t-1} - α_t ∇f(θ_{t-1}), 여기서 하이퍼그래디언트 ∂f(θ_{t-1})/∂α = ∇f(θ_{t-1}) · ( -∇f(θ_{t-2}) ).
• 하이퍼그래디언트를 한 번의 추가 그래디언스 복사와 점곱을 사용해 계산하여 최소한의 메모리 및 계산 오버헤드를 발생시킨다.
• SGD (SGD-HD), Nesterov 모멘텀을 사용하는 SGD (SGDN-HD), 및 Adam (Adam-HD)에 대한 HD 변형을 구체화하며, 덧셈형과 곱셈형 하이퍼그래디언트 업데이트 형태를 모두 포함한다.
• 구현 매핑 제공: SGD-HD, SGDN-HD, Adam-HD는 일반 알고리즘의 기본 업데이트 문을 하이퍼그래디언트 기반 학습률 업데이트로 교체하는 것에 해당한다.
• 고정된 α∞로의 전환, 고차 하이퍼그래디언트 등 잠재적 확장과 실증 평가 설정에 대해 논의한다.

실험 결과

연구 질문

• RQ1 하이퍼그래디언트를 통한 온라인 학습률 적응이 일반적인 그래디언트 기반 옵티마이저에서 수렴을 개선하는가?
• RQ2 하이퍼그래디언트 하강법이 적용된 SGD, SGDN, Adam은 초기 학습률 α_0에 덜 민감한가?
• RQ3 HD가 비-HD 대비 신경망의 학습 및 검증 성능에 어떤 영향을 미치는가?
• RQ4 대규모 설정에서 HD를 적용할 때의 메모리, 계산, 하이퍼그래디언트 학습률 β 등의 실용적 고려사항은 무엇인가?

주요 결과

• HD 변형은 로지스틱 회귀, MNIST의 다층 네트워크, CIFAR-10의 VGG-유사 네트워크에서 비-HD 대응자에 비해 일관되게 성능을 향상시키거나 같게 만든다.
• 학습률 α_t는 초기에 상승한 후 작은 값으로 감소하는 경향이 있어 자동 기하학적 적응을 가능하게 한다.
• 주어진 조정되지 않은 α_0에 대해, SGD-HD, SGDN-HD, Adam-HD는 손실 궤적을 α_0로 조정되었을 경우의 최적 궤적에 더 가깝게 만든다.
• Adam-HD는 일반적인 Adam보다 학습 성능을 더 좋게 달성하는 경우가 많고, 때로는 검증 성능도 더 높다.
• HD는 효과적인 학습률을 찾기 위한 그리드/랜덤/베이지안과 같은 광범위한 하이퍼파라미터 탐색의 필요성을 줄인다.
• 이 접근법은 메모리 효율적이며, 그래디언스의 추가 복사 한 개만 필요하고 추가적인 자동 미분 기계가 필요하지 않다.