[論文レビュー] A Closer Look into Mixture-of-Experts in Large Language Models

Ka Man Lo, Zeyu Huang+3 more|arXiv (Cornell University)|Jun 26, 2024

Computational and Text Analysis Methods被引用数 4

ひとこと要約

本稿は、大規模言語モデルにおけるMixture-of-Experts（MoE）の包括的な実証的分析を提供しており、Mixtral 8x7B、DeepSeekMoE、Grok-1 の3つのモデルにおけるパラメータおよび行動的特性を検討している。ニューロンは細粒度のエキスパートとして機能し、ルーターは出力ノルムがより高いエキスパートを好む傾向にあり、エキスパートの多様性は深さに伴い増加するが、最終層は例外的である。これらの発見は、訓練から再構築することでエキスパートの多様性が向上することを示唆し、ルーター設計およびエキスパート割り当て戦略に知見をもたらす。

ABSTRACT

Mixture-of-experts (MoE) is gaining increasing attention due to its unique properties and remarkable performance, especially for language tasks. By sparsely activating a subset of parameters for each token, MoE architecture could increase the model size without sacrificing computational efficiency, achieving a better trade-off between performance and training costs. However, the underlying mechanism of MoE still lacks further exploration, and its modularization degree remains questionable. In this paper, we make an initial attempt to understand the inner workings of MoE-based large language models. Concretely, we comprehensively study the parametric and behavioral features of three popular MoE-based models and reveal some intriguing observations, including 1) Neurons act like fine-grained experts; 2) The router of MoE usually selects experts with larger output norms; 3) The expert diversity increases as the layer increases, while the last layer is an outlier, which is further validated by an initial experiment. Based on the observations, we also provide suggestions for a broad spectrum of MoE practitioners, such as router design and expert allocation. We hope this work could shed light on future research on the MoE framework and other modular architectures. Code is available at https://github.com/kamanphoebe/Look-into-MoEs.

研究の動機と目的

• MoEベースのLLMが、異種のエキスパート特化を達成するかどうか、あるいは単なる均一なアンサンブルにとどまっているかを調査すること。
• 最近のMoEモデルにおけるエキスパートのパrametricおよび行動的特徴を分析すること。特に、パラメータ相関、ルーティング行動、出力類似性に焦点を当てる。
• MoEモデルにおけるエキスパートの多様性および特化に影響を与えるアーキテクチャ的要因および訓練レベル要因を同定すること。
• 実証的観察に基づいて、ルーター設計、エキスパート割り当て、訓練スキームに関する実行可能な知見を提供すること。

提案手法

• 公開済みの重みを用いて、最近のMoEモデル3つ（Mixtral 8x7B、DeepSeekMoE、Grok-1）の実証的分析を実施。
• 入力の多様なサンプルに対して、重み行列と出力特徴ベクトル間のコサイン類似度を用いてエキスパートのパラメータ類似度を計算。
• ゲートスコアとエキスパート出力ノルム、活性化パターンとの相関関係を分析することで、ルーター行動を検証。
• ニューロンレベルの活性化ヒートマップの可視化と分析により、細粒度のエキスパート行動およびエキスパート間類似度を評価。
• 特に、Mixtral（おそらくアップサイクリングを経由）とDeepSeekおよびGrok-1（訓練から再構築）の異なる訓練スキームを比較し、エキスパート相関に与える影響を評価。
• ノルムに基づくルーティングの監視と相関測定を用いて、ルーティング効率およびエキスパートの明確な差異を評価。

Figure 5: Intermediate state values of Mixtral experts. The top $k$ experts are shown on top of each heat map. Each number in the vertical axis refers to an expert index while the horizontal axis represents the number of neurons.

実験結果

リサーチクエスチョン

• RQ1 MoEベースのLLMにおけるエキスパートは、パラメータおよび行動において意味的な多様性を示しているのか、それとも高い相関関係にあるのか？
• RQ2 MoEモデルにおけるルーターはどのようにエキスパートを選択しているのか。出力ノルムがより高いエキスパートを好む傾向があるのか？
• RQ3 エキスパートの多様性はモデルの深さに伴いどのように変化するのか。なぜ最終層では類似性トレンドが逆転するのか？
• RQ4 訓練から再構築するか、特殊な初期化を施すかによって、エキスパートの多様性および相関にどの程度の影響があるのか？
• RQ5 エキスパート間の重み行列類似度は、出力特徴類似度の代理として用いることができるか？

主な発見

• フィードフォワードネットワーク内のニューロンは細粒度のエキスパートとして機能し、ゲート埋め込みとゲートプロジェクション行列に相関する活性化パターンが観察され、ニューロンレベルの特化が示唆される。
• Mixtral 8x7BおよびDeepSeekMoEにおけるルーターは、出力ノルムがより高いエキスパートを一貫して選択しており、ノルムに基づくルーティングが強固で効果的な戦略であることが示唆される。
• エキスパートの類似度は層の深さが増すにつれて低下し、多様性が増加しているが、最終層では類似度が急激に上昇し、階層の中で特異的である。
• エキスパート重み行列間の類似度測定値と、トークンごとの平均出力類似度との間に強い相関が観察された。これは、重みベースの分析が出力レベルの評価を効率的に代替可能であることを示唆する。
• 訓練から再構築されたモデル（例：DeepSeekMoE、Grok-1）は、Mixtralと比較してエキスパートパラメータおよび行動の相関が弱く、訓練から再構築することでエキスパートの多様性がより良く促進される可能性がある。
• Mixtralで観察された強いパラメータおよび行動的相関は、ベースモデルからアップサイクリングされた特殊な初期化スキームを用いた訓練である可能性を示唆しており、訓練から再構築されたものではないと考えられる。