[論文レビュー] Parameter-Efficient Mixture-of-Experts Architecture for Pre-trained Language Models

Zefeng Gao, Peiyu Liu+3 more|arXiv (Cornell University)|Mar 2, 2022

Topic Modeling被引用数 11

ひとこと要約

この論文では、Mixture-of-Experts (MoE) アーキテクチャを、行列積表現（MPO）分解を用いて、エキスパート間でグローバルな中央テンソルを共有することで、パラメータ効率的なMPOEを提案する。エキスパート重み行列を共有される中央テンソルとエキスパート固有の補助テンソルに分解することにより、Switch Transformersと比較してパラメータを27.2倍削減しながら、T5およびGPT-2モデルにおける性能を維持または向上させることができる。また、最適化の不均衡を解消するための勾配マスク戦略を導入している。

ABSTRACT

Recently, Mixture-of-Experts (short as MoE) architecture has achieved remarkable success in increasing the model capacity of large-scale language models. However, MoE requires incorporating significantly more parameters than the base model being extended. In this paper, we propose building a parameter-efficient MoE architecture by sharing information among experts. We adopt the matrix product operator (MPO, a tensor decomposition from quantum many-body physics) to reconstruct the parameter matrix in the expert layer and increase model capacity for pre-trained language models by sharing parameters of the central tensor (containing the core information) among different experts while enabling the specificity through the auxiliary tensors (complementing the central tensor) of different experts. To address the unbalanced optimization issue, we further design the gradient mask strategy for the MPO-based MoE architecture. Extensive experiments based on T5 and GPT-2 show improved performance and efficiency of the pre-trained language model (27.2x reduction in total parameters for the superior model performance, compared with the Switch Transformers). Our code is publicly available at https://github.com/RUCAIBox/MPOE.

研究の動機と目的

• 大規模な事前学習言語モデル（PLM）におけるMixture-of-Experts (MoE) の高いパラメータコストが、モデル容量の増加にもかかわらずスケーラビリティを制限するという問題に対処すること。
• エキスパート重み行列に共通する構造的情報を同定することで、エキスパート間のパラメータの重複を低減すること。
• 特にリソースが限られた環境や効率的な学習シナリオにおいて、モデル容量や性能を損なわず、パラメータ効率的なMoEを実現すること。
• 共有中央テンソルとエキスパート固有の補助テンソルの間で最適化が不均衡にならないよう、訓練戦略を設計すること。
• 構造的行列分解（MPO）を効果的に活用して、コンパクトで高容量なMoEアーキテクチャを構築できるかを実証すること。

提案手法

• MPOEは、行列積表現（MPO）分解を用いて、各エキスパートの重み行列をグローバルに共有される中央テンソルと、エキスパート固有の補助テンソルの積に分解する。
• 大部分のパラメータを占める中央テンソルはすべてのエキスパートで共有されるため、合計パラメータ数が著しく削減される。
• エキスパート固有の補助テンソルは、タスクやサンプル固有の変動を捉えるために訓練され、パラメータ効率を保ちつつモデル容量を拡張可能である。
• 微調整時に中央テンソルへの勾配を抑制する勾配マスク戦略を導入し、最適化のバランスを保つ。これにより、中央テンソルが更新に支配的になるのを防ぐ。
• T5およびGPT-2モデルに本手法を適用し、スパース活性化と効率的な推論を可能にするため、MoEルーティング機構を維持している。
• MPO分解により、補助テンソルの変更が中央テンソルに伝搬され、パラメータ共有にもかかわらずモデルの表現力が維持される。

実験結果

リサーチクエスチョン

• RQ1 MoEアーキテクチャにおけるエキスパート間のパラメータの重複を、モデル容量を損なわず体系的に低減できるか？
• RQ2 MPO分解における共有中央テンソルが、事前学習言語モデル内の複数のエキスパートに共通するコアな知識を効果的に表現できるか？
• RQ3 提案された勾配マスク戦略が、共有中央テンソルとエキスパート固有の補助テンソルの間で最適化を効果的にバランスさせられるか？
• RQ4 MPOベースのMoEは、標準的なMoE手法と比較して、どれほどパラメータ数を削減できるか、かつ性能を維持または向上できるか？
• RQ5 MPOEは、Switch Transformersのような既存のMoE拡張PLMよりも、より優れたパラメータ効率を達成できるか？

主な発見

• MPOEは、Switch Transformersと比較して、T5およびGPT-2で性能を同等または上回りながら、合計パラメータ数を27.2倍削減した。
• GLUEおよびWikiText-2ベンチマークでも優れた性能を維持しており、共有中央テンソルが必須の容量を保持していることが示された。
• 勾配マスク戦略は、微調整時の訓練安定性を著しく向上させ、共有中央テンソルの過学習を防止した。
• 実験の結果、複数のエキスパート間で中央テンソルが非常に類似していることが確認され、MPO分解によるパラメータ共有の妥当性が裏付けられた。
• MPOEアーキテクチャは、最小限のパラメータオーバーヘッドで効率的かつ高容量なMoE推論を可能にし、リソースが限られた環境やデプロイ制約のある状況に適している。
• 下流タスクの精度に劣化を来さず、パラメータ効率の観点で、競合するMoE拡張PLMを上回った。