[논문 리뷰] Cramming: Training a Language Model on a Single GPU in One Day

Jonas Geiping, Tom Goldstein|arXiv (Cornell University)|2022. 12. 28.

Topic Modeling인용 수 30

한 줄 요약

논문은 단일 소비자 GPU에서 24시간 동안 트랜스포머 기반 언어 모델을 처음부터 완전히 학습하고 다운스트림 GLUE 성능을 평가하여, 신중하게 설계된 파이프라인과 데이터 큐레이션으로 BERT와 유사한 결과를 달성한다.

ABSTRACT

Recent trends in language modeling have focused on increasing performance through scaling, and have resulted in an environment where training language models is out of reach for most researchers and practitioners. While most in the community are asking how to push the limits of extreme computation, we ask the opposite question: How far can we get with a single GPU in just one day? We investigate the downstream performance achievable with a transformer-based language model trained completely from scratch with masked language modeling for a single day on a single consumer GPU. Aside from re-analyzing nearly all components of the pretraining pipeline for this scenario and providing a modified pipeline with performance close to BERT, we investigate why scaling down is hard, and which modifications actually improve performance in this scenario. We provide evidence that even in this constrained setting, performance closely follows scaling laws observed in large-compute settings. Through the lens of scaling laws, we categorize a range of recent improvements to training and architecture and discuss their merit and practical applicability (or lack thereof) for the limited compute setting.

연구 동기 및 목표

• 단일 GPU에서 24시간 이내에 트랜스포머 기반 언어 모델을 처음부터 얼마나 멀리까지 학습시킬 수 있는지 조사한다.
• 심한 연산 제약 하에서 프리트레이닝 파이프라인의 구성 요소를 재검토하고 최적화한다.
• 다운스트림 GLUE 성능을 평가하여 cramming(급속 학습)과 BERT 및 관련 기준선과의 벤치마킹을 수행한다.
• 저자원 환경에서 데이터 선택과 큐레이션이 성능에 미치는 영향을 분석한다.

제안 방법

• 계산 제약에 의해 정당화되지 않는 한 표준 구성요소에 한해 제한하고 자동 혼합 정밀도를 갖춘 PyTorch 기반 프리트레이닝 파이프라인을 구현한다.
• Wikipedia와 Books Corpus에서 파생된 대소문자 구분 없는 ASCII 전용 코퍼스와 32768 토큰의 WordPiece 어휘를 가진 128토큰 패킹 시퀀스 구성을 사용한다.
• 24시간 예산에서 이득을 가져다주는 것을 식별하기 위해 주의(attention) 바이어스, 임베딩 방식, 정규화 등 아키텍처 선택 및 학습 하이퍼파라미터를 체계적으로 제거/변형하여 24시간 예산에서 이득을 주는 요소를 확인한다.
• 확대 법칙(스케일링 법칙)을 활용해 결과를 해석하고 이득이 가능한 지점을 가이드하며, 큰 아키텍처 변경보다는 데이터 처리량과 그래디언트 계산 효율에 집중한다.
• 데이터 소스링 및 처리(The Pile, C4 서브세트)와 데이터 필터링(압축 기반 필터링, 정렬)을 실험하여 다운스트림 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 하루 동안 단일 GPU에서 처음부터 언어 모델을 프리트레이닝할 때 어떤 다운스트림 GLUE 성능을 달성할 수 있는가?
• RQ2 극단적인 컴퓨팅 다운스케일링에서 어떤 아키텍처, 학습, 데이터 선택이 의미 있는 이득을 제공하는가?
• RQ3 대규모 학습에서 관찰되는 스케일링 법칙이 cramming(저자원) 구역에서 어떻게 나타나는가?
• RQ4 24시간 프리트레이닝 시나리오에서 데이터 큐레이션과 데이터셋 전처리가 다운스트림 성능에 미치는 영향은 어느 정도인가?

주요 결과

• cramming 설정의 성능은 대규모 컴퓨트 구간과 유사한 스케일링 법칙을 따르며, 더 큰 모델은 그라디언트당 더 많은 학습을 하고, 더 작은 모델은 처리량 이점을 제공한다.
• 주요 아키텍처 재설계는 24시간 예산에서 제한된 이득을 제공하며, 그라디언트 계산 속도를 높이는 타깃 최적화는 모델 규모를 늘리지 않고도 개선을 제공한다.
• 압축 불가 콘텐츠 필터링, 시퀀스 정렬, 엔드 배치 크기 증가 등의 신중한 데이터 큐레이션 및 처리로 다운스트림 성능을 개선할 수 있으며, 특히 C4 및 The Pile 같은 데이터 소스에서 그렇다.
• 프리트레이닝 동안 드롭아웃을 건너뛰면 단일 에폭 예산 내에서 매개변수 업데이트를 최대화하고, 감독자 학습(fine-tuning) 중 드롭아웃은 정규화를 위해 유지한다.
• Izsak et al. (2021)와 비교할 때 cramming 레시피는 GLUE 과제에서 상당한 이득을 제공하며, 서로 다른 GPU(RTX 2080 Ti, A4000, A6000)에서 MNLI, QQP, QNLI, SST-2의 경쟁력 있는 결과를 달성한다.