[論文レビュー] SpeechMoE: Scaling to Large Acoustic Models with Dynamic Routing Mixture of Experts

Zhao You, Shulin Feng+2 more|arXiv (Cornell University)|May 7, 2021

Speech Recognition and Synthesis参考文献 26被引用数 5

ひとこと要約

この論文は、音声認識における大規模音声モデル向けに、動的ルーティングを備えた混合専門家（MoE）アーキテクチャであるSpeechMoEを提案する。共有埋め込みネットワークをルーター入力に統合し、スパarsity L1損失および平均重要度損失を導入することで、FLOPsをほぼ同等に保ちながら、強力なベースライン比で7.0%から23.0%の相対的文字誤り率（CER）の改善を達成し、専門家特化とバランスの取れたルーティングにより、優れた性能と効率性を示した。

ABSTRACT

Recently, Mixture of Experts (MoE) based Transformer has shown promising results in many domains. This is largely due to the following advantages of this architecture: firstly, MoE based Transformer can increase model capacity without computational cost increasing both at training and inference time. Besides, MoE based Transformer is a dynamic network which can adapt to the varying complexity of input instances in realworld applications. In this work, we explore the MoE based model for speech recognition, named SpeechMoE. To further control the sparsity of router activation and improve the diversity of gate values, we propose a sparsity L1 loss and a mean importance loss respectively. In addition, a new router architecture is used in SpeechMoE which can simultaneously utilize the information from a shared embedding network and the hierarchical representation of different MoE layers. Experimental results show that SpeechMoE can achieve lower character error rate (CER) with comparable computation cost than traditional static networks, providing 7.0%-23.0% relative CER improvements on four evaluation datasets.

研究の動機と目的

• 音声認識における計算コストの増加なしに音声モデルをスケーリングする課題に対処すること。
• 入力の複雑さに基づいて入力を専門的なエキスパートに動的ルーティングすることで、モデルの容量と適応性を向上させること。
• 新規の学習目的を通じてルーティングのスパarsityとエキスパート利用のバランスを向上させること。
• 低レベルの音声特徴におけるルーター意思決定の向上を図るため、共有埋め込みとレイヤー出力を組み合わせることの有効性を評価すること。

提案手法

• ルーターが直前のレイヤー出力と共有埋め込みネットワークの両方を入力として使用することで、ルーティング意思決定を向上させる新しいMoEアーキテクチャ、SpeechMoEを提案する。
• 各入力ごとにルーターの活性化をスパースに保つよう促すために、スパarsity L1損失を導入する。
• エキスパートの使用をバランスよく保ち、未利用を防ぐために平均重要度損失を採用し、モデルの多様性と耐障害性を向上させる。
• Switch Transformerと同様に、1つの入力トークンに対して1つのエキスパートのみをアクティブ化するトップ-1ルーティング戦略を採用する。
• 低レベルのスペクトログ램特徴をより高レベルの表現に変換する共有埋め込みネットワークを導入し、より良いルーティングのガイダンスを提供する。
• CTC損失、スパarsity L1損失、平均重要度損失を組み合わせた複合損失関数を用いて学習を行い、精度、スパarsity、バランスを同時に最適化する。

Figure 1: (a), (b) and (c) represent the architecture of DeepMoE, Switch Transformer and SpeechMoE respectively. Similar to Switch Transformer, only one expert with the largest router probability in each MoE layer is used in the SpeechMoE, which is different from DeepMoE. Besides, the SpeechMoE util

実験結果

リサーチクエスチョン

• RQ1 固定FLOPsを維持したまま、動的ルーティングMoEアーキテクチャが音声認識性能を向上させられるか？
• RQ2 共有埋め込みとレイヤー出力を組み合わせることで、低レベルの音声特徴におけるルーター性能にどのような影響を与えるか？
• RQ3 提案されたスパarsity L1損失は、ルーティングのスパarsityとモデル効率性をどの程度向上させるか？
• RQ4 平均重要度損失は、エキスパート利用のバランスとモデル一般化性能をどの程度向上させるか？
• RQ5 エキスパート数を増加させることで、モデル性能と学習ダイナミクスにどのような影響を与えるか？

主な発見

• スパarsity L1損失と平均重要度損失を併用したSpeechMoEは、ベースラインモデル比でReadテストセットで23.0%の相対的CER改善を達成した。
• 8エキスパート（MoE-8e）を搭載したモデルは、AISHELLテストセットで11.9%の相対的CER低減を達成し、容量増加に伴う顕著な性能向上を示した。
• ルーター入力に共有埋め込みネットワークを追加することで、SponセットでCERが0.19ポイント、Chatセットで0.49ポイント低下し、低レベル特徴のルーティングにおいて有効であることが示された。
• 平均重要度損失を導入したことで、ベースラインMoEモデル比でSponセットのCERが0.15ポイントさらに低下し、エキスパートのバランスが改善されたことが確認された。
• エキスパート数を2から8に増加させることで、検証用CTC損失が低下し、学習速度も向上した。これにより、スケーラビリティと性能向上が裏付けられた。
• すべての設定においてFLOPs（2.3B）がほぼ同等に保たれたため、容量の増加が追加の計算コストを伴わないことが証明された。

Figure 2: Validation CTC loss for increasing expert number