[논문 리뷰] YellowFin and the Art of Momentum Tuning

Jian Zhang, Ioannis Mitliagkas|arXiv (Cornell University)|2017. 06. 12.

Teaching and Learning Programming참고 문헌 25인용 수 63

한 줄 요약

이 논문은 학습률과 모멘텀을 함께 조정하는 momentum SGD용 자동 튜너 YellowFin을 소개하며, Adam보다 더 빠른 수렴과 동기식 및 비동기 설정에서의 강건성을 달성한다.

ABSTRACT

Hyperparameter tuning is one of the most time-consuming workloads in deep learning. State-of-the-art optimizers, such as AdaGrad, RMSProp and Adam, reduce this labor by adaptively tuning an individual learning rate for each variable. Recently researchers have shown renewed interest in simpler methods like momentum SGD as they may yield better test metrics. Motivated by this trend, we ask: can simple adaptive methods based on SGD perform as well or better? We revisit the momentum SGD algorithm and show that hand-tuning a single learning rate and momentum makes it competitive with Adam. We then analyze its robustness to learning rate misspecification and objective curvature variation. Based on these insights, we design YellowFin, an automatic tuner for momentum and learning rate in SGD. YellowFin optionally uses a negative-feedback loop to compensate for the momentum dynamics in asynchronous settings on the fly. We empirically show that YellowFin can converge in fewer iterations than Adam on ResNets and LSTMs for image recognition, language modeling and constituency parsing, with a speedup of up to 3.28x in synchronous and up to 2.69x in asynchronous settings.

연구 동기 및 목표

• 모멘텀 기반 SGD를 재조명함으로써 딥러닝에서 하이퍼파라미터 튜닝 작업의 부담을 줄이는 것을 동기를 부여한다.
• 학습률 잘못 설정과 기울기 곡률 변화에 대한 모멘텀 SGD의 강건성 분석.
• 학습률과 모멘텀을 즉시 적응시키는 자동 튜너(YellowFin)를 설계하고 검증한다.
• 비동기 학습으로 확장하여 비동기로 인한 여분의 모멘텀을 보상하기 위한 폐루프(클로즈드-루프) YellowFin을 도입한다.
• 다양한 모델(ResNets 및 LSTMs)과 작업(image recognition, language modeling, parsing)에 걸친 성능을 평가한다.

제안 방법

• 모멘텀 업데이트를 동적 시스템으로 모델링하고 모멘텀 연산자 A_t를 연구한다.
• 루트(mu) 수렴을 보이는 강건성 조건(스펙트럼 반경)을 도출하며, (1−√μ)^2 ≤ α h(x_t) ≤ (1+√μ)^2일 때 이를 보인다.
• 강건한 영역 제약하에 그래디언트 통계로 (μ_t, α_t)를 계산하기 위한 SingleStep를 개발한다.
• 그래디언트 기반 측정 함수 CurvatureRange, Variance, Distance를 제안하여 h_max, h_min, 그래디언트 분산 C, 거리 D를 추정한다.
• 비매끄러운 목표 함수에서 학습을 안정시키기 위한 적응형 그래디언트 클리핑을 도입한다.
• 비동기 설정에서 안정적인 총 모멘텀 μ_T를 목표로 알고리듬 모멘텀을 조정하기 위해 폐루프 YellowFin을 구현한다.
• 그래디언트 기반 관찰 가능성에 기초한 튜닝 및 안정성에 대한 실용적 구현과 제어 루프를 제공한다.

실험 결과

연구 질문

• RQ1 단일 튜닝 학습률과 모멘텀을 갖는 모멘텀 기반 SGD가 다양한 모델에서 Adam과 같은 적응형 옵티마이저를 능가할 수 있는가?
• RQ2 학습률 잘못 설정과 다양한 곡률에 대해 모멘텀 SGD의 강건성은 어느 정도이며, 이 강건성을 자동 튜닝에 활용할 수 있는가?
• RQ3 자동 튜너(YellowFin)가 동기식 및 비동기식 학습 모두에서 모멘텀과 학습률을 실시간으로 안정적으로 조정할 수 있는가?
• RQ4 폐루프 모멘텀 제어를 도입하면 비동기성으로 야기되는 모멘텀을 완화하고 수렴 속도를 높일 수 있는가?
• RQ5 조정된 Adam과 수동으로 조정된 모멘텀 SGD에 비해 CNN과 RNN 전반에서 어떤 경험적 속도향상과 안정성 보장을 보여줄 수 있는가?

주요 결과

• 수동으로 조정된 학습률을 가진 Momentum SGD는 광범위한 모델에서 Adam보다 더 빠르게 수렴할 수 있다.
• YellowFin은 ResNet 및 LSTM에 대해 동기화 설정에서 Adam 대비 최대 3.28x의 속도 향상, 비동기 설정에서 최대 2.69x의 속도 향상을 달성한다.
• 핸드-튜닝 없이도 YellowFin은 핸드-튜닝된 모멘텀 SGD에 필적하거나 이를 능가하고, 다수의 작업(image recognition, language modeling, parsing)에서 조정된 Adam보다 자주 더 나은 성능을 보인다.
• 튜너는 모멘텀 연산자에 대해 단계와 방향에 걸쳐 sqrt(mu)의 동질적 스펙트럼 반경을 보장하는 강건한 영역에서 작동한다.
• 적응형 그래디언트 클리핑은 폭주하는 그래디언트를 갖는 목적 함수의 학습을 안정화하고 비매끄러운 과제에서 성능을 향상시킨다.
• 폐루프 YellowFin은 비동기성으로 인한 모멘텀을 보상하여 비동기 학습을 크게 가속하고 목표 성능에 도달하는 반복 횟수를 줄인다.