[論文レビュー] Lifelong Language Pretraining with Distribution-Specialized Experts

Wuyang Chen, Yanqi Zhou+5 more|arXiv (Cornell University)|May 20, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、継続的微調整における catastrophic forgetting を防ぐために、ストリーミングなデータ分布に対して大規模言語モデルの継続的事前学習を可能にする Lifelong-MoE を提案する。動的にエキスパートを拡張し、凍結済みの旧来のコンponentsに正則化を適用することで、19の下流NLPタスクにおける性能を維持しながら、推論コストを一定に保つ。

ABSTRACT

Pretraining on a large-scale corpus has become a standard method to build general language models (LMs). Adapting a model to new data distributions targeting different downstream tasks poses significant challenges. Naive fine-tuning may incur catastrophic forgetting when the over-parameterized LMs overfit the new data but fail to preserve the pretrained features. Lifelong learning (LLL) aims to enable information systems to learn from a continuous data stream across time. However, most prior work modifies the training recipe assuming a static fixed network architecture. We find that additional model capacity and proper regularization are key elements to achieving strong LLL performance. Thus, we propose Lifelong-MoE, an extensible MoE (Mixture-of-Experts) architecture that dynamically adds model capacity via adding experts with regularized pretraining. Our results show that by only introducing a limited number of extra experts while keeping the computation cost constant, our model can steadily adapt to data distribution shifts while preserving the previous knowledge. Compared to existing lifelong learning approaches, Lifelong-MoE achieves better few-shot performance on 19 downstream NLP tasks.

研究の動機と目的

• 新しいデータ分布が逐次到着する状況下で、継続的言語モデル事前学習における catastrophic forgetting の課題に対処すること。
• 再訓練を再び行う必要なく、オンラインでストリーミングされるデータ分布への適応を可能にし、高い計算コストを伴わないこと。
• 事前学習データの分布シフトにもかかわらず、下流NLPタスクにおける高い性能を維持すること。
• スパarsなエキスパート拡張と正則化が、進化するデータストリームに伴う知識の保持にどの程度有効であるかを検証すること。
• 推論コストを一定に保ちながら、新しいエキスパートを介してモデル容量を段階的に拡張できることを示すこと。

提案手法

• 新しいデータ分布に対応するために、動的にエキスパートを追加できる拡張可能な MoE アーキテクチャである Lifelong-MoE を提案する。
• 以前に訓練されたエキスパートとゲーティング機構を凍結することで、過去の分布からの知識を保存する。
• 新しいエキスパートのパラメータ更新を制約するため、オンライン L2 正則化を導入し、事前学習済み重みからの逸脱を防ぐ。
• 過去のモデルからの知識蒸留を用いた出力レベルの正則化を適用し、新しいデータに対する学習の安定化を図る。
• スパースにアクティブ化される MoE 推論を用いることで、1トークンあたりのアクティブなエキスパート数を固定し、計算コストを一定に保つ。
• 新しいデータ分布が事前学習中に到着するにつれ、段階的にエキスパート数を拡張する（例：16 から 28 から 32 に）。

Figure 1: Overview of our Lifelong-MoE method: 1) During pretraining, the expanded experts (and gatings) are specialized for each data distribution; 2) We freeze the pretrained old experts and gatings; 3) We further introduce regularizations to the MoE to avoid the catastrophic forgetting.

実験結果

リサーチクエスチョン

• RQ1 進化するデータ分布にわたる継続的事前学習をサポートするために、Mixture-of-Experts アーキテクチャを効果的に拡張できるか？
• RQ2 推論コストを増加させずに、モデル容量を段階的に拡大できるか？
• RQ3 継続的学習における catastrophic forgetting を防ぐために、どの正則化戦略が最も効果的か？
• RQ4 分布特化型エキスパートは、単一の統合モデルと比較して、下流タスクのパフォーマンスを向上させられるか？
• RQ5 一般化性能と忘れの緩和という観点から、Lifelong-MoE は、密度型モデルや既存の継続的学習手法と比較してどのように差をつけるか？

主な発見

• Lifelong-MoE は、19の下流NLPタスクにおいて、既存の継続的学習手法よりも優れた few-shot パフォーマンスを達成する。
• 初期に TriviaQA の分布で事前学習を行わなかったにもかかわらず、F1 スコアが密度型オラクルとほぼ同等の競争力のあるパフォーマンスを維持する。
• WMT16 および Ubuntu ディスカッションタスクでは、Lifelong-MoE が最良のデコード結果を達成し、新しいデータ分布に切り替えた際の性能低下が最小限に抑えられる。
• 新しい分布に適応する際の性能劣化が最小限であることに鑑み、忘れの低減が顕著に実証されている。
• オンライン L2 正則化と出力レベルの知識蒸留が併用されることで、学習の安定性と一般化性能の向上が実現される。
• 追加エキスパートの数が限定的であっても、Lifelong-MoE は、GShard や GLaM などの密度型ベースラインを下回らない、特に事前学習データの分布シフトが生じた際には顕著に優れた性能を示す。

Figure 2: Overview of our lifelong pretraining method for the MoE model ( $\mathcal{M}$ ): 1) When pretraining on each data distribution ( $\bm{x}^{(t)}$ ), we expand the number of experts and gatings (from $E^{(t-1)}$ to $E^{(t)}$ ) for larger model capacity; 2) We freeze the pretrained old experts