[논문 리뷰] Efficient Large Scale Language Modeling with Mixtures of Experts

Mikel Artetxe, Shruti Bhosale외 22명|arXiv (Cornell University)|2021. 12. 20.

Topic Modeling인용 수 13

한 줄 요약

이 논문은 조건부 계산을 활용해 각 토큰당 파라미터의 일부만 활성화하는 조건부 계산 기반의 Mixture of Experts (MoE) 언어 모델을 제안하고, 효율적인 대규모 언어 모델링을 위한 실증적 평가를 수행한다. MoE 모델은 최대 4배 적은 계산량을 사용하면서도 밀도 모델과 유사한 성능을 달성하며, 1.1조 파라미터 MoE 모델이 계산량이 동일한 67억 파라미터 밀도 모델을 능가함으로써 다양한 NLP 작업에서 뚜렷한 계산 효율성을 입증한다.

ABSTRACT

Mixture of Experts layers (MoEs) enable efficient scaling of language models through conditional computation. This paper presents a detailed empirical study of how autoregressive MoE language models scale in comparison with dense models in a wide range of settings: in- and out-of-domain language modeling, zero- and few-shot priming, and full-shot fine-tuning. With the exception of fine-tuning, we find MoEs to be substantially more compute efficient. At more modest training budgets, MoEs can match the performance of dense models using $\sim$4 times less compute. This gap narrows at scale, but our largest MoE model (1.1T parameters) consistently outperforms a compute-equivalent dense model (6.7B parameters). Overall, this performance gap varies greatly across tasks and domains, suggesting that MoE and dense models generalize differently in ways that are worthy of future study. We make our code and models publicly available for research use.

연구 동기 및 목표

• 대규모 언어 모델링에서 Mixture of Experts (MoE) 모델과 밀도 모델 간의 효율성과 성능을 조사하기 위해.
• 도메인 내 및 도메인 외 언어 모델링, 제로샷 및 피어샷 프라밍, 그리고 포괄적 파인튜닝과 같은 다양한 설정에서 MoE 모델을 평가하기 위해.
• MoE 모델이 스케일이 증가함에 따라 밀도 모델과 다르게 일반화되는가, 그리고 제약이 있는 계산 예산 하에서도 성능 우위를 유지하는가를 판단하기 위해.
• 특히 중간 수준의 훈련 예산에서 계산 비용을 크게 줄일 수 있음에도 불구하고 최신 기술 수준의 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 저자들은 수억에서 수조 개가 넘는 파라미터를 가진 자동회귀 MoE 및 밀도 트랜스포머 기반 언어 모델을 훈련한다.
• MoE 레이어는 각 토큰당 상위 2개의 전문가를 선택하는 라우터 네트워크를 사용하여, 입력에 따라 파라미터의 일부만 활성화되는 조건부 계산을 가능하게 한다.
• 모델들은 혼합 정밀도 훈련(FP16 옵티마이저 상태 사용)과 활성화 체크포인팅을 통해 훈련 중 메모리 사용량을 줄인다.
• 완전 공유 데이터 병렬(FSDP)은 여러 GPU에 걸쳐 모델 파라미터, 기울기 및 옵티마이저 상태를 분할하여 대규모 모델 크기의 훈련을 가능하게 한다.
• FLOP 수치는 활성화 체크포인팅과 MoE 피드포워드 네트워크에서 발생하는 추가 FLOPs를 고려하여 분석적으로 계산되며, MoE의 경우 밀도 모델 대비 32Tlh² 만큼 FLOPs가 증가한다.
• 연구는 다양한 벤치마크에서 성능을 비교하며, 도메인 내 및 도메인 외 언어 모델링(Pile), 제로샷 프라밍, 파인튜닝을 계산량이 동일한 조건에서 수행한다.

실험 결과

연구 질문

• RQ1 중간 수준의 훈련 예산에서 MoE 모델이 훨씬 적은 계산량을 사용하면서도 밀도 모델과 유사한 성능을 달성할 수 있는가, 특히 중간 수준의 훈련 예산에서 그런가?
• RQ2 다양한 NLP 작업에서 제로샷 및 피어샷 프라밍 설정에서 MoE 모델은 밀도 모델 대비 어떻게 성능을 내는가?
• RQ3 스케일이 증가함에 따라 MoE와 밀도 모델 간의 성능 격차는 유지되거나 좁아지는가, 그리고 MoE 아키텍처는 다른 방식으로 일반화되는가?
• RQ4 다양한 모델 크기와 훈련 예산에서 MoE 모델의 계산 효율성 향상 정도는 어떠한가?
• RQ5 MoE와 밀도 모델은 작업과 도메인에 따라 다른 일반화 행동을 보이는가?

주요 결과

• 중간 수준의 훈련 예산에서 MoE 모델은 약 4배 적은 계산량을 사용하면서도 밀도 모델과 동일한 성능을 달성하여 뛰어난 계산 효율성을 입증한다.
• 매우 큰 스케일(약 5000 GPU 일)에서도 가장 큰 MoE 모델(1.1조 파라미터)이 계산량이 동일한 밀도 모델(67억 파라미터)보다 다운스트림 작업에서 더 뛰어난 성능을 보였다.
• MoE와 밀도 모델 간의 성능 격차는 작업과 도메인에 따라 크게 달라지며, 이는 서로 다른 일반화 행동을 의미한다.
• MoE 모델은 제로샷 및 피어샷 설정에서 뛰어난 성능을 유지하여, 조건부 계산이 문맥 학습 능력을 손상시키지 않는다는 것을 보여준다.
• FSDP와 활성화 체크포인팅의 사용은 표준 하드웨어에서 수조 개가 넘는 파라미터를 가진 MoE 모델의 훈련을 가능하게 하여 대규모 MoE 훈련의 실현 가능성을 입증한다.
• 분석적 FLOP 추정은 MoE 훈련이 예측 가능하고 관리 가능한 수준의 계산 증가를 초래하며, 주로 추가적인 전문가 피드포워드 네트워크에서 기인한다는 것을 확인한다.