[論文レビュー] Towards Understanding Mixture of Experts in Deep Learning

Zixiang Chen, Yihe Deng+3 more|arXiv (Cornell University)|Aug 4, 2022

Mobile Crowdsensing and Crowdsourcing被引用数 22

ひとこと要約

この論文は、なぜスパースMoE層が多様化するのか、ルータがクラスタ中心のルーティングを学ぶ仕組みを理論と経験的に分析する。非線形MoEはクラスタ構造データ上で単一エキスパートよりも性能を発揮し、ルータが入力を専門エキスパートへ割り当てることを示す。

ABSTRACT

The Mixture-of-Experts (MoE) layer, a sparsely-activated model controlled by a router, has achieved great success in deep learning. However, the understanding of such architecture remains elusive. In this paper, we formally study how the MoE layer improves the performance of neural network learning and why the mixture model will not collapse into a single model. Our empirical results suggest that the cluster structure of the underlying problem and the non-linearity of the expert are pivotal to the success of MoE. To further understand this, we consider a challenging classification problem with intrinsic cluster structures, which is hard to learn using a single expert. Yet with the MoE layer, by choosing the experts as two-layer nonlinear convolutional neural networks (CNNs), we show that the problem can be learned successfully. Furthermore, our theory shows that the router can learn the cluster-center features, which helps divide the input complex problem into simpler linear classification sub-problems that individual experts can conquer. To our knowledge, this is the first result towards formally understanding the mechanism of the MoE layer for deep learning.

研究の動機と目的

• MoEがなぜ結合して単一モデルへ収束せず多様化するのかという問いを動機づけ、形式化する。
• 内在するクラスタ構造を持つ分類データの混合を研究し、MoEの利点を理解する。
• 非線形の二層CNNエキスパートとスパースルーティングを用い、クラスタ構造データ上でほぼ完璧なテスト精度を達成できることを示す。
• 理論的にも経験的にも、ルータがクラスタ中心の特徴を学習してエキスパートの専門化のために入力を分割することを示す。

提案手法

• Mエキスパート（二層CNN）とトップ-1ルーティング（スイッチルーティング）を用いたMoE層を定義する。
• トレーニングを安定化させるため、ランダムルーティングノイズを含む摂動付き実験損失を用いる。
• 各クラスタが専用のエキスパート集合によって学習可能な、クラスタ構造を持つデータ分布を分析する。
• 提案データに対して、単一の二層CNNエキスパートが超えられないことを負の結果として証明する（定理4.1）。
• 適切な設定の下で、三次活性化を持つ非線形スパースMoEがほぼ100%のトレーニング精度とほぼゼロのテスト誤差を達成できることを証明する（定理4.2）。
• 専門家がクラスタごとに専門化し、ルータがクラスタ中心の特徴を学習する方法を探索ベースの分析で示す。

実験結果

リサーチクエスチョン

• RQ1 MoEエキスパートはなぜ単一のモデルへ収束せず多様化するのか？
• RQ2 非線形エキスパートを用いたスパースゲーティングMoEはクラスタ構造データを効率的に学習できるのか？
• RQ3 ルータは入力を適切なエキスパートへディスパッチするのをどう学習し、エキスパートはクラスタへ専門化するのか？
• RQ4 非線形対線形エキスパートを用いた場合、クラスタ構造タスクの学習にどのような影響があるのか？

主な発見

設定	モデル	テスト精度（%）	ディスパッチエントロピー
Setting 1	Single (linear)	68.71	NA
Setting 1	Single (nonlinear)	79.48	NA
Setting 1	MoE (linear)	92.99±2.11	1.300±0.044
Setting 1	MoE (nonlinear)	99.46±0.55	0.098±0.087
Setting 2	Single (linear)	60.59	NA
Setting 2	Single (nonlinear)	72.29	NA
Setting 2	MoE (linear)	88.48±1.96	0.171±0.103
Setting 2	MoE (nonlinear)	98.09±1.27

• 提案されたクラスタ構造分布では、単一の二層CNNエキスパートはテスト精度を87.5%を超えられない（定理4.1）。
• 線形エキスパートの混合は単一エキスパートより改善するが、クラスタ構造の回復には苦戦し、非線形MoEより劣る場合がある。
• 二層CNNエキスパートと三次活性化を用いたスパースモEは、適切な設定でほぼ100%のトレーニング精度とほぼゼロのテスト誤差を達成する（定理4.2）。
• ルータはクラスタ中心の特徴を学習し、各クラスタを専用エキスパートへルーティングする。各エキスパートは少なくとも1つのクラスタに専門化する。
• 合成データでの経験的結果は、非線形MoEがディスパッチエントロピーをほぼゼロに近づけ、明確なクラスタ専門化を示す一方、線形MoEはより高いエントロピーを維持する。
• CIFAR-10およびCIFAR-10-Rotateの実験は、MoEが標準タスクで単一モデルと同等以上の性能を示し、クラスタ化されたデータ構造をよりうまく処理できることを示す。