[논문 리뷰] Lookahead Optimizer: k steps forward, 1 step back

Michael R. Zhang, James Lucas외 2명|arXiv (Cornell University)|2019. 07. 19.

Stochastic Gradient Optimization Techniques참고 문헌 44인용 수 381

한 줄 요약

Lookahead 최적화기는 표준 내부 최적화기에 래핑되어 빠른 가중치를 k단계 업데이트한 뒤 느린 가중치를 한 번 빠른 가중치 쪽으로 업데이트하여 분산을 감소시키고 최소한의 오버헤드로 수렴성을 개선합니다.

ABSTRACT

The vast majority of successful deep neural networks are trained using variants of stochastic gradient descent (SGD) algorithms. Recent attempts to improve SGD can be broadly categorized into two approaches: (1) adaptive learning rate schemes, such as AdaGrad and Adam, and (2) accelerated schemes, such as heavy-ball and Nesterov momentum. In this paper, we propose a new optimization algorithm, Lookahead, that is orthogonal to these previous approaches and iteratively updates two sets of weights. Intuitively, the algorithm chooses a search direction by looking ahead at the sequence of fast weights generated by another optimizer. We show that Lookahead improves the learning stability and lowers the variance of its inner optimizer with negligible computation and memory cost. We empirically demonstrate Lookahead can significantly improve the performance of SGD and Adam, even with their default hyperparameter settings on ImageNet, CIFAR-10/100, neural machine translation, and Penn Treebank.

연구 동기 및 목표

• 기존 최적화기와 통합되는 두 계층의 최적화 방법인 Lookahead를 소개한다.
• Lookahead가 신경망 학습에서 분산을 줄이고 안정성을 향상시킨다는 것을 보인다.
• 최소한의 하이퍼파라미터 조정으로 다양한 작업에서 실증적 이점을 보여준다.
• 수렴 특성을 분석하고 느린 가중치의 스텝 크기 α를 선택하기 위한 지침을 제시한다.

제안 방법

• k개의 내부 업데이트마다 동기화되는 느린 가중치 φ와 빠른 가중치 θ를 유지한다.
• 미니배치에서 임의의 표준 최적화기 A를 사용하여 빠른 가중치 θ를 업데이트한다.
• k번의 내부 업데이트 후 φ ← φ + α(θ − φ)로 느린 가중치 φ를 θ 쪽으로 업데이트하고 θ를 φ로 재설정한다.
• 원칙적으로 적응적으로 선택되거나 고정된 α를 제공하고, 2차 근사에 기반한 정당화를 제시한다.
• 느린 가중치가 각 내부 루프 내에서 빠른 가중치의 EMA를 따른다는 것을 보인다.
• 내부 옵티마이저에 비해 계산 오버헤드를 O((k+1)/k)로 논의하고 한 차례의 추가 매개변수 복사를 필요로 한다.

실험 결과

연구 질문

• RQ1 Lookahead가 SGD나 Adam처럼 표준 옵티마이저에 래핑되었을 때 수렴 속도와 안정성을 개선합니까?
• RQ2 이론적 및 실험적 측면에서 Lookahead의 느린 가중치 스텝 크기 α가 수렴성과 안정성에 어떤 영향을 미칩니까?
• RQ3 다양한 아키텍처와 작업에서 k와 α 같은 하이퍼파라미터 선택에 대해 Lookahead가 강건합니까?
• RQ4 잡음이 있는 및 결정론적 2차 모델에서 Lookahead가 제공하는 수렴 특성과 분산 감소는 무엇입니까?

주요 결과

Optimizer	CIFAR-10	CIFAR-100
SGD	95.23\u00b1.0.19	78.24\u00b1.0.18
Polyak	95.26\u00b1.0.04	77.99\u00b1.0.42
Adam	94.84\u00b10.16	76.88\u00b10.39
Lookahead	95.27\u00b10.06	78.34\u00b10.05

• Lookahead는 CIFAR, ImageNet, 언어 모델, 기계 번역에서 SGD나 Adam과 결합될 때 더 빠른 수렴과 종종 더 나은 일반화 성능을 제공합니다.
• 느린 가중치 업데이트는 최종 빠른 가중치의 EMA로 작용하여 분산을 줄이고 안정성을 향상시킵니다.
• Lookahead는 내부 옵티마이저 선택과 하이퍼파라미터에 강건하며 고정된 α가 작업 전반에서 잘 작동합니다.
• 잡음이 있는 2차 모델에서 같은 학습률일 때도 적절한 설정이 주어지면 Lookahead의 정상상태 분산은 SGD보다 엄격히 낮습니다.
• 결정론적 분석은 저감합 상태에서 Lookahead가 수렴 속도를 개선할 수 있음을 보여줍니다.
• 실험 결과 Lookahead가 최소한의 하이퍼파라미터 튜닝으로 경쟁력 있거나 더 높은 최종 정확도를 달성하는 것으로 나타났습니다.