[논문 리뷰] AdaScale SGD: A User-Friendly Algorithm for Distributed Training

Tyler B. Johnson, Pulkit Agrawal외 2명|arXiv (Cornell University)|2020. 07. 09.

Advanced Neural Network Applications인용 수 20

한 줄 요약

AdaScale SGD는 경사하강의 분산을 기반으로 동적으로 학습률을 조정함으로써 대용량 배치 학습에 자동으로 적응하는 사용자 友好的 알고리즘입니다. 이로 인해 초기 설정이 필요 없이 거의 완벽한 선형 속도 향상을 달성할 수 있으며, 다양한 작업과 배치 크기에서 모델 품질을 유지합니다. 고정된 스케일링 규칙(예: 선형 또는 제곱근 스케일링)보다 뛰어나며, 명시적인 워밍업 단계 없이도 자연스럽게 워밍업 유사 행동을 유도합니다.

ABSTRACT

When using large-batch training to speed up stochastic gradient descent, learning rates must adapt to new batch sizes in order to maximize speed-ups and preserve model quality. Re-tuning learning rates is resource intensive, while fixed scaling rules often degrade model quality. We propose AdaScale SGD, an algorithm that reliably adapts learning rates to large-batch training. By continually adapting to the gradient's variance, AdaScale automatically achieves speed-ups for a wide range of batch sizes. We formally describe this quality with AdaScale's convergence bound, which maintains final objective values, even as batch sizes grow large and the number of iterations decreases. In empirical comparisons, AdaScale trains well beyond the batch size limits of popular "linear learning rate scaling" rules. This includes large-batch training with no model degradation for machine translation, image classification, object detection, and speech recognition tasks. AdaScale's qualitative behavior is similar to that of "warm-up" heuristics, but unlike warm-up, this behavior emerges naturally from a principled mechanism. The algorithm introduces negligible computational overhead and no new hyperparameters, making AdaScale an attractive choice for large-scale training in practice.

연구 동기 및 목표

• 대용량 배치 분산 학습에서 모델 품질을 유지하는 데 도전하는 문제를 해결하기 위해, 고정된 학습률 스케일링 규칙이 성능을 떨어뜨리는 경우가 많기 때문이다.
• 대규모 학습에서 수동 하이퍼파rameter 조정이나 히우리스틱 워밍업 스케줄이 필요 없도록 하기 위해.
• 스토케스틱 경사하강의 내재된 분산에 기반해 학습률을 적응적으로 스케일링하는 원칙적인 방법을 개발하기 위해.
• 이미지 분류, 객체 검출, 기계 번역, 음성 인식 등 다양한 기계학습 작업에서 신뢰성 있고 사용자 친화적인 대용량 배치 학습을 가능하게 하기 위해.
• 선형 또는 제곱근 학습률 스케일링의 이론적으로 탄탄한 대안을 제공하여 대규모에서 수렴성과 모델 정확도를 유지하기 위해.

제안 방법

• AdaScale는 각 반복에서 스트로케스틱 경사하강의 추정 분산에 반비례하게 학습률을 조정함으로써, 다양한 배치 크기에서 예상 업데이트 크기가 안정적으로 유지되도록 합니다.
• 이 알고리즘은 스케일 간에 $\eta_t \mathbb{E}[\|\bar{\mathbf{g}}_t\|^2]$의 불변성을 유지하며, 이는 수렴 경계의 핵심이며 일관된 최적화 진행을 보장합니다.
• 새로운 하이퍼파rameter를 도입하지 않으며, 계산 오버헤드도 극히 적어 대규모 학습 시스템에서 실용적입니다.
• 명시적인 워밍업 단계 없이도 적응적 스케일링 메커니즘에서 유래된 자연스러운 워밍업 유사 행동을 생성합니다.
• AdaScale는 기존의 학습률 스케줄(예: 지수 감쇠)과 호환되며, 이를 다양한 배치 크기와 스케일에 자동으로 적응시킵니다.
• 이 알고리즘은 최종 목표값이 배치 크기가 증가하고 반복 수가 감소함에도 불구하고 유지됨을 보장하는 이론적 수렴 경계에서 유도됩니다.

실험 결과

연구 질문

• RQ1 수동 재조정이 필요 없이 다양한 배치 크기에서 모델 품질을 유지할 수 있는 학습률 적응 전략을 설계할 수 있는가?
• RQ2 경사하강 분산에 기반한 적응적 학습률 스케일링이 선형 또는 제곱근 스케일링과 비교해 모델 정확도와 학습 속도 측면에서 어떻게 성능을 내는가?
• RQ3 명시적인 워밍업 하이퍼파rameter 없이도 자연스럽게 워밍업 유사 행동을 유도할 수 있는 적응 메커니즘이 존재하는가?
• RQ4 AdaScale는 대용량 배치 분산 학습에서 얼마나 선형 속도 향상을 달성할 수 있으며, 최종 모델 성능을 유지할 수 있는가?
• RQ5 AdaScale는 이미지 분류, 객체 검출, 기계 번역, 음성 인식 등 다양한 기계학습 작업에 효과적으로 적용될 수 있는가?

주요 결과

• AdaScale는 여러 벤치마크에서 대용량 배치 학습에서 거의 완벽한 선형 속도 향상을 달성했습니다. 예를 들어, ImageNet에서는 배치 크기가 32,000이고, Transformers에서는 최대 262,000 토큰의 배치 크기를 사용했습니다.
• CIFAR-10에서는 스케일 16에서 지수 감쇠 학습률 스케줄의 13×13 그리드 전역에서 모델 품질을 유지했으며, 스케일된 SGD에 대한 직접적인 하이퍼파ram터 검색보다 뛰어난 성능을 보였습니다.
• 선형 스케일링에 워밍업을 추가한 것과 달리, 배치 크기가 증가함에 따라 정확도가 떨어지는 것과는 달리, AdaScale는 극단적인 스케일에서도 검증 정확도를 유지합니다.
• AdaScale의 수렴 경계는 배치 크기가 증가하고 반복 수가 감소함에도 불구하고 최종 목표값을 유지함을 보장하여, 그 강건성에 대한 이론적 근거를 제공합니다.
• 알고리즘은 명시적인 워밍업 하이퍼파라미터나 스케줄 수정 없이도 자연스럽게 워밍업 유사 학습률 행동을 생성합니다.
• 실험 결과에 따르면, AdaScale는 다양한 작업과 스케일에서 모델 품질을 체계적으로 유지함으로써 실세계 분산 학습에서의 신뢰성과 실용성을 입증했습니다.