[논문 리뷰] A Large Batch Optimizer Reality Check: Traditional, Generic Optimizers Suffice Across Batch Sizes

Zachary Nado, Justin Gilmer외 3명|arXiv (Cornell University)|2021. 02. 12.

Advanced Neural Network Applications참고 문헌 22인용 수 8

한 줄 요약

이 논문은 레이어별 정규화 없이 ResNet-50 및 BERT 벤치마크에서 전통적인 최적화 알고리즘인 Nesterov 모멘타ム과 Adam이 전용 대배치 최적화 알고리즘인 LARS와 LAMB의 성능을 따라하거나 뛰어넘을 수 있음을 보여준다. 핵심 발견은 표준 최적화 알고리즘이 적절히 튜닝되면 대배치 크기에서도 유사하거나 더 높은 정확도를 달성할 수 있으며, 이는 훈련 효율성을 높이기 위해 복잡한 업데이트 규칙이 반드시 필요하다는 것을 도전하는 것이다.

ABSTRACT

Recently the LARS and LAMB optimizers have been proposed for training neural networks faster using large batch sizes. LARS and LAMB add layer-wise normalization to the update rules of Heavy-ball momentum and Adam, respectively, and have become popular in prominent benchmarks and deep learning libraries. However, without fair comparisons to standard optimizers, it remains an open question whether LARS and LAMB have any benefit over traditional, generic algorithms. In this work we demonstrate that standard optimization algorithms such as Nesterov momentum and Adam can match or exceed the results of LARS and LAMB at large batch sizes. Our results establish new, stronger baselines for future comparisons at these batch sizes and shed light on the difficulties of comparing optimizers for neural network training more generally.

연구 동기 및 목표

• LARS와 LAMB가 대배치 크기에서 표준 최적화 알고리즘보다 진정으로 우월한 성능을 보이는지 평가하는 것.
• 잘 튜닝된 표준 최적화 알고리즘을 사용해 대배치 신경망 훈련을 위한 더 강력하고 공정한 기준을 설정하는 것.
• LARS와 LAMB의 성능 향상 요인이 더 나은 최적화인지 또는 간접적인 정규화 효과인지 조사하는 것.
• 최적화 알고리즘 비교에서 하이퍼파rameter 튜닝의 중요성과 편향된 벤치마킹의 위험을 부각하는 것.
• 미래의 최적화 알고리즘 연구에서 더 철저하고 표준화된 평가 프로토콜을 주장하는 것.

제안 방법

• 대배치 크기(최대 32,768)에서 ImageNet에서 ResNet-50을 Nesterov 모멘타ム과 Adam으로 재학습하고, 광범위한 하이퍼파rameter 튜닝을 수행함.
• 공정한 비교를 위해 LARS와 LAMB 벤치마크에서 사용된 동일한 학습률 스케줄링 및 정규화 기법을 적용함.
• 원래 LARS와 LAMB 연구와 동일한 데이터 전처리, 모델 아키텍처 및 훈련 프로토콜을 사용함.
• 최적화 알고리즘 선택의 영향을 다른 훈련 파ip라인 구성 요소로부터 분리하기 위해 아블레이션 스터디를 수행함.
• 최적화 속도와 정규화 효과를 분리하기 위해 훈련 손실과 검증 손실을 모두 평가함.
• 컴퓨터 비전을 넘어 일반화 능력을 테스트하기 위해 BERT 전훈에서 실험을 수행함.

실험 결과

연구 질문

• RQ1 LARS와 LAMB가 대배치 크기에서 Adam과 Nesterov 모멘타움 같은 표준 최적화 알고리즘보다 측정 가능한 성능 우월성을 제공하는가?
• RQ2 LARS와 LAMB의 성능 향상 요인이 더 나은 최적화인지, 또는 암묵적인 정규화 효과인지 어느 정도인가?
• RQ3 동일한 하이퍼파rameter 튜닝 노력이 주어졌을 때, 표준 최적화 알고리즘이 LARS와 LAMB와 유사하거나 더 나은 결과를 낼 수 있는가?
• RQ4 학습률 스케줄링 및 훈련 파ip라인 구성의 차이가 최적화 알고리즘 비교에 얼마나 민감한가?
• RQ5 딥러닝에서 새로운 최적화 알고리즘의 벤치마킹 및 평가에 있어 어떤 함의가 있는가?

주요 결과

• Nesterov 모멘타움은 레이어별 정규화 없이도 배치 크기 32,768에서 LARS 결과와 동일하거나 이를 초월하는 검증 정확도를 달성했으며, 이는 LARS가 대배치 훈련을 위해 특별히 설계되었음에도 불구하고 그렇다.
• Adam은 배치 크기까지 65,536까지 BERT 전훈에서 LAMB를 따라하거나 뛰어넘었으며, 이는 Adam이 16,384를 초월해 스케일업할 수 없다는 주장과 정면으로 배치된다.
• LARS와 LAMB의 성능 향상 요인이 뛰어난 최적화 때문이 아니라, 아마도 암묵적인 정규화 효과에서 기인한 것으로 보이며, 표준 최적화 알고리즘은 더 높은 훈련 정확도를 보였지만 유사한 검증 성능에 도달했다.
• 이 연구는 학습률 스케줄링이 최적화 알고리즘 선택보다 더 큰 영향을 미치며, 균형 잡히지 않은 튜닝은 새로운 최적화 알고리즘의 우월성에 대한 잘못된 주장으로 이어질 수 있음을 드러냈다.
• 적절히 튜닝된 표준 최적화 알고리즘인 Adam과 Nesterov 모멘타움은 여전히 경쟁력 있고, 종종 더 우수하며, 이는 복잡한 전용 업데이트 규칙이 반드시 필요하다는 것을 도전한다.
• 결과적으로, 모든 최적화 알고리즘이 동일한 튜닝 및 파ip라인 조건에서 평가되는 표준화되고 경쟁적인 기준이 필요하다는 점을 강조한다.