[논문 리뷰] Lifelong Language Pretraining with Distribution-Specialized Experts

Wuyang Chen, Yanqi Zhou외 5명|arXiv (Cornell University)|2023. 05. 20.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 유연한 전이 학습을 가능하게 하는 Mixture-of-Experts 아키텍처인 Lifelong-MoE를 제안한다. 이는 기존의 파라미터를 동결하고 새로운 전문가를 동적으로 확장함으로써, 재학습이 필요 없이 스트리밍 데이터 분포에서 지속적인 사전 훈련을 가능하게 하며, 치명적인 잊음 현상을 방지한다. 이로 인해 추론 비용을 일정하게 유지하면서도 19개의 다운스트림 NLP 작업에서 성능을 유지를 할 수 있다.

ABSTRACT

Pretraining on a large-scale corpus has become a standard method to build general language models (LMs). Adapting a model to new data distributions targeting different downstream tasks poses significant challenges. Naive fine-tuning may incur catastrophic forgetting when the over-parameterized LMs overfit the new data but fail to preserve the pretrained features. Lifelong learning (LLL) aims to enable information systems to learn from a continuous data stream across time. However, most prior work modifies the training recipe assuming a static fixed network architecture. We find that additional model capacity and proper regularization are key elements to achieving strong LLL performance. Thus, we propose Lifelong-MoE, an extensible MoE (Mixture-of-Experts) architecture that dynamically adds model capacity via adding experts with regularized pretraining. Our results show that by only introducing a limited number of extra experts while keeping the computation cost constant, our model can steadily adapt to data distribution shifts while preserving the previous knowledge. Compared to existing lifelong learning approaches, Lifelong-MoE achieves better few-shot performance on 19 downstream NLP tasks.

연구 동기 및 목표

• 새로운 데이터 분포가 순차적으로 도착할 때 지속적 언어 모델 사전 훈련에서 치명적인 잊음 현상에 대처하는 데 도움을 주기 위해.
• 초기 재학습 없이도 높은 계산 비용을 들이지 않고 온라인 스트리밍 데이터 분포에 지속적으로 적응할 수 있도록 하기 위해.
• 사전 훈련 데이터의 분포 변화가 발생하더라도 다운스트림 NLP 작업에서 뛰어난 성능을 유지하기 위해.
• 희소 전문가 확장과 정규화가 변화하는 데이터 스트림을 통해 지식을 유지하는 데 얼마나 효과적인지 탐색하기 위해.
• 추가 전문가를 통해 모델 용량을 점진적으로 확장하면서도 추론 비용을 일정하게 유지할 수 있는지 보여주기 위해.

제안 방법

• 새로운 데이터 분포를 수용하기 위해 동적으로 전문가를 추가할 수 있는 확장 가능한 MoE 아키텍처인 Lifelong-MoE를 제안한다.
• 이전에 훈련된 전문가와 게이팅 메커니즘을 동결하여 이전 분포로부터의 지식을 유지한다.
• 새 전문가의 파라미터 업데이트를 제약하기 위해 온라인 L2 정규화를 도입한다. 이는 사전 훈련된 가중치에서의 이탈을 방지한다.
• 이전 모델에서의 지식 정제를 사용하여 출력 수준의 정규화를 적용함으로써 새로운 데이터에서의 학습을 안정화시킨다.
• 희소하게 활성화되는 MoE 추론을 사용하여, 토큰당 고정된 수의 전문가만 활성화되도록 하여 계산 비용을 일정하게 유지한다.
• 새로운 데이터 분포가 사전 훈련 중에 도입될 때마다 전문가 수를 점진적으로 확장한다 (예: 16에서 28로, 32로 확장함).

Figure 1: Overview of our Lifelong-MoE method: 1) During pretraining, the expanded experts (and gatings) are specialized for each data distribution; 2) We freeze the pretrained old experts and gatings; 3) We further introduce regularizations to the MoE to avoid the catastrophic forgetting.

실험 결과

연구 질문

• RQ1 변화하는 데이터 분포에 걸쳐 지속적인 사전 훈련을 지원하기 위해 Mixture-of-Experts 아키텍처를 효과적으로 확장할 수 있는가?
• RQ2 추론 비용을 증가시키지 않고 모델 용량을 점진적으로 증가시킬 수 있는가?
• RQ3 지속적 사전 훈련 중 치명적인 잊음 현상을 방지하는 데 가장 효과적인 정규화 전략은 무엇인가?
• RQ4 분포 전문화 전문가가 단일 통합 모델보다 다운스트림 작업에서 성능을 향상시킬 수 있는가?
• RQ5 일반화 능력과 잊음 완화 측면에서 Lifelong-MoE는 밀도 모델과 기존의 지속 학습 방법보다 어떻게 비교되는가?

주요 결과

• Lifelong-MoE는 19개의 다운스트림 NLP 작업에서 기존의 지속 학습 방법보다 더 나은 few-shot 성능을 달성한다.
• 초기 사전 훈련에서 TriviaQA 분포를 다루지 않았음에도 불구하고, F1 점수 수준이 밀도 오라클 모델과 유사한 경쟁력 있는 성능을 유지한다.
• WMT16 및 Ubuntu 대화 작업에서 Lifelong-MoE는 최상의 디코딩 결과를 기록했으며, 새로운 데이터 분포로 전환할 때 성능 저하가 가장 적었다.
• 새로운 분포로 적응할 때 성능 저하가 최소한이므로, 잊음 현상이 크게 감소한 것으로 확인되었다.
• 온라인 L2 정규화와 출력 수준의 지식 정제가 함께 작용하여 안정적인 학습과 향상된 일반화 능력을 기여한다.
• 제한된 수의 추가 전문가만으로도 Lifelong-MoE는 GShard 및 GLaM과 같은 밀도 기반 베이스라인을 초월하여 다운스트림 작업에서 더 뛰어난 성능을 보였다. 특히 사전 훈련 데이터의 분포가 변화할 경우 더욱 두드러진 성능 향상을 보였다.

Figure 2: Overview of our lifelong pretraining method for the MoE model ( $\mathcal{M}$ ): 1) When pretraining on each data distribution ( $\bm{x}^{(t)}$ ), we expand the number of experts and gatings (from $E^{(t-1)}$ to $E^{(t)}$ ) for larger model capacity; 2) We freeze the pretrained old experts