[논문 리뷰] Scaling Expert Language Models with Unsupervised Domain Discovery

Suchin Gururangan, Margaret Li외 5명|arXiv (Cornell University)|2023. 03. 24.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 텍스트 코퍼스를 도메인 특화된 그룹으로 비지도 군집화하여 희소 전문가 언어 모델을 훈련하는 c-BTM을 소개한다. 이는 의사소통 효율적이며, 끈적임 없이 병렬화된 훈련을 가능하게 한다. 전문가들을 학습된 군집에 특화시킴으로써 FLOPs를 크게 줄이며 밀도 높은 모델보다 더 나은 성능을 달성한다. 더 많은 군집과 더 큰 데이터에서 성능 향상이 증가한다.

ABSTRACT

Large language models are typically trained densely: all parameters are updated with respect to all inputs. This requires synchronization of billions of parameters across thousands of GPUs. We introduce a simple but effective method to asynchronously train large, sparse language models on arbitrary text corpora. Our method clusters a corpus into sets of related documents, trains a separate expert language model on each cluster, and combines them in a sparse ensemble for inference. This approach generalizes embarrassingly parallel training by automatically discovering the domains for each expert, and eliminates nearly all the communication overhead of existing sparse language models. Our technique outperforms dense baselines on multiple corpora and few-shot tasks, and our analysis shows that specializing experts to meaningful clusters is key to these gains. Performance also improves with the number of experts and size of training data, suggesting this is a highly efficient and accessible approach to training large language models.

연구 동기 및 목표

• 수천 개의 GPU를 통해 밀도 높은 대규모 언어 모델을 훈련할 때 발생하는 높은 의사소통 및 동기화 비용을 해결하기 위해.
• 메타데이터를 사용하지 않고도 확장 가능하고 의사소통 효율적인 희소 전문가 언어 모델의 훈련을 가능하게 하기 위해.
• 비지도 군집화가 밀도 높은 기준 모델과 비교해 의미 있는 도메인을 발견하여 모델 성능을 향상시킬 수 있는지 조사하기 위해.
• 자동으로 발견된 군집에 훈련된 전문가 모델의 스케일링 특성, 특히 전문가 수와 데이터 크기와의 관계를 탐구하기 위해.

제안 방법

• 메타데이터를 사용하지 않고 텍스트 코퍼스에 k-means 군집화를 적용하여 도메인 유사 그룹을 발견한다.
• 기본 모델(예: OPT-1.3B)에서 초기화된 전문가 언어 모델(ELM)을 생성하고, 각 ELM을 할당된 군집에서 독립적으로 미세조정한다.
• 입력 컨텍스트 임베딩과 각 전문가의 군집 중심 간 코사인 유사도를 기반으로 상위-k 전문가를 선택하는 희소 앙상블 추론 기법을 사용한다.
• 서로 다른 GPU 간의 동기화된 파라미터 업데이트를 피함으로써 상호작용을 최소화하고, 끈적임 없이 병렬로 전문가를 훈련한다.
• 외부에서 사전에 군집을 균형 잡아 전문가 활용도를 균일하게 유지하고 라우팅 병목 현상을 방지한다.
• 추론 시 상위-k 전문가의 출력을 가중 평균으로 조합하여 효율적인 희소 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비지도 군집화가 텍스트 코퍼스를 효과적으로 분석하여 밀도 높은 훈련과 비교해 의미 있는 도메인을 발견할 수 있으며, 언어 모델 성능 향상에 기여할 수 있는가?
• RQ2 군집 수(즉, 전문가 수)가 모델 성능과 훈련 효율성에 어떤 영향을 미치는가?
• RQ3 더 큰 데이터셋으로 확장할 경우 c-BTM이 퍼즐러피티와 FLOP 효율성 측면에서 밀도 높은 기준 모델을 능가하는가?
• RQ4 학습된 라우팅 메커니즘을 가진 기존의 희소 MoE 모델과 비교해 c-BTM의 성능은 어떠한가?
• RQ5 무작위 또는 비균형 군집화에 비해 균형 잡힌 군집화가 모델 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• c-BTM은 계산량이 동일한 밀도 높은 언어 모델보다 검증 퍼즐러피티에서 뛰어나며, 군집 수가 증가할수록 성능 향상이 증가한다.
• 168B 토큰의 데이터를 사용해 128개의 전문가 언어 모델(총 168B 파라미터)을 동시에 8개 GPU만으로도 효과적인 병렬화와 확장성을 보였다.
• 128개의 전문가와 상위-4 추론을 사용할 경우 모든 전문가를 사용한 경우와 유사한 성능를 달성했으며, 심지어 상위-1 추론조차도 밀도 높은 모델을 능가했다.
• 1.3B 파라미터 전문가와 희소 추론을 사용한 c-BTM은 6.7B 파라미터 밀도 높은 모델과 동일한 퍼즐러피티를 달성했지만, 훈련 FLOPs는 단 29%에 불과했다.
• 균형 잡힌 군집화는 골드 메타데이터를 사용한 전문가 할당과 동일한 성능를 보였으며, 무작위 또는 비균형 군집화보다 뚜렷이 뛰어난 성능를 보였다.
• 최적의 군집 수는 훈련 데이터 크기와 함께 증가하며, 더 많은 군집과 더 큰 데이터에서 성능 향상이 단조롭게 증가한다.