[논문 리뷰] Large-Scale Deep Learning Optimizations: A Comprehensive Survey

Xiaoxin He, Fuzhao Xue외 2명|arXiv (Cornell University)|2021. 11. 01.

Advanced Neural Network Applications참고 문헌 118인용 수 8

한 줄 요약

이 종합적 서베이는 대규모 딥러닝을 위한 최적화 기법에 대해 종합적인 분석을 제공하며, 모델 정확도와 효율성을 향상시키는 데 중점을 둔다. 대용량 배치 학습, 통신 효율적인 분산 학습, 메모리 효율적인 최적화(특히 ZeRO)와 같은 최신 기법들을 검토하여, 최대 2000억 파라미터를 가진 모델을 기존 대비 최대 10배 빠르게 학습할 수 있도록 한다.

ABSTRACT

Deep learning have achieved promising results on a wide spectrum of AI applications. Larger datasets and models consistently yield better performance. However, we generally spend longer training time on more computation and communication. In this survey, we aim to provide a clear sketch about the optimizations for large-scale deep learning with regard to the model accuracy and model efficiency. We investigate algorithms that are most commonly used for optimizing, elaborate the debatable topic of generalization gap arises in large-batch training, and review the SOTA strategies in addressing the communication overhead and reducing the memory footprints.

연구 동기 및 목표

• 대규모 딥러닝에서 모델 정확도와 학습 효율성을 향상시키는 최적화 기법들을 통합적으로 개괄하기 위해.
• 대용량 배치 학습에서 발생하는 일반화 갭 문제에 대응하기 위해. 이는 배치 크기가 증가함에 따라 성능 저하가 발생하는 문제이다.
• 수천 대의 GPU 또는 TPU에서 분산 학습을 수행할 때 발생하는 통신 및 메모리 병목 현상을 분석하기 위해.
• ZeRO, SM3, Adafactor와 같은 최신 메모리 최적화 전략을 평가하여, 수렴 성능을 훼손하지 않으면서 메모리 사용량을 줄이는 데 목적이 있다.
• 대규모 학습 파이프라인에서 알고리즘적 개선과 시스템 수준 최적화 간의 상호 교환 관계를 명확히 하기 위해.

제안 방법

• 대규모 딥러닝 최적화를 두 가지 주요 축으로 분류한다: 모델 정확도(예: 경사하강법 변종, 적응형 방법, 2차 최적화)와 모델 효율성(예: 통신 및 메모리 감소).
• 일반화 갭을 완화하기 위해 학습률 웜업, 가중치 감소, 배치 정규화 재정의와 같은 대용량 배치 학습 기법을 검토한다.
• 통신 효율적인 방법으로는 기울기 압축, 양자화, 파라미터 서버 아키텍처를 분석하여 노드 간 통신 오버헤드를 줄인다.
• 메모리 효율적인 기법으로 ZeRO를 분석한다. 이는 최적화기 상태, 기울기, 활성화 값을 장치 간에 분할하여 중복을 제거한다.
• SM3(Save Memory by Sharing Moments)을 소개한다. 이는 행과 열 간의 모멘트 통계를 공유함으로써 적응형 최적화기의 메모리 사용량을 Θ(mn)에서 Θ(m+n)으로 줄여, 저장소 요구량을 줄이면서도 성능 유지를 한다.
• ZeRO의 세 단계 최적화를 제안한다: 장치 간 최적화기 상태, 기울기, 활성화 값 분할; CPU 오프로딩 및 런타임 메모리 재정렬 기능을 추가로 지원한다.

실험 결과

연구 질문

• RQ1 매우 큰 미니배치로 학습할 경우 일반화 갭이 발생하나, 이를 어떻게 유지하거나 개선할 수 있는가?
• RQ2 수천 대의 장치에서 분산 딥러닝을 수행할 때 통신 오버헤드를 줄이기 위한 가장 효과적인 전략은 무엇인가?
• RQ3 수렴성이나 모델 성능을 훼손하지 않으면서 대규모 분산 학습에서 메모리 사용량을 최소화하는 방법은 무엇인가?
• RQ4 ZeRO, Adafactor, SM3와 같은 다양한 메모리 최적화 기법 간의 상호 교환 관계는 무엇이며, 메모리 절감 효과와 계산 오버헤드 간의 균형은 어떻게 되는가?
• RQ5 알고리즘적 최적화(예: 적응형 방법)와 시스템 수준 최적화(예: ZeRO)를 어떻게 조합하여 대규모 학습 속도를 가속화할 수 있는가?

주요 결과

• 대용량 배치 학습은 일반화 갭을 유발할 수 있으며, 이는 배치 크기가 일정 수준을 초과하면 성능 저하를 초래하지만, 학습률 웜업과 가중치 감소 기법을 통해 완화될 수 있다.
• 장치 수가 증가할수록 분산 학습에서 통신 오버헤드가 주요 병목이 되며, 기울기 압축, 양자화, 효율적인 동기화 기법을 통해 이를 줄일 수 있다.
• ZeRO는 최적화기 상태, 기울기, 활성화 값을 장치 간에 분할함으로써 장치당 메모리 소비를 줄여, 최대 2000억 파라미터를 가진 모델의 학습을 가능하게 한다.
• SM3는 행과 열 간의 모멘트 통계를 공유함으로써 적응형 최적화기의 메모리 사용량을 Θ(mn)에서 Θ(m+n)으로 줄여, 저장소 요구량을 감소시키면서도 성능을 유지한다.
• ZeRO는 모델 상태 분할, 활성화 메모리 분할, CPU 오프로딩, 런타임 메모리 재정렬을 결합하여 대규모 모델 학습 속도를 최대 10배 빠르게 한다.
• 메모리 최적화와 통신 최적화는 상호 배타적이지 않으며, 알고리즘적 개선과 결합할 경우 학습 속도 및 확장성 향상에 상호 보완적인 효과를 낳는다.