[論文レビュー] Towards MoE Deployment: Mitigating Inefficiencies in Mixture-of-Expert (MoE) Inference

Haiyang Huang, Newsha Ardalani+7 more|arXiv (Cornell University)|Mar 10, 2023

Age of Information Optimization被引用数 4

ひとこと要約

この論文は、Mixture-of-Experts (MoE) 推論における非効率性を解消するために、計算オーバーヘッドを低減し、負荷バランスを向上させる新しいルーティングおよび実行戦略を提案する。ベースラインMoEシステムと比較して、推論遅延で最大2.1倍の高速化と活性化メモリ使用量で3.4倍の削減を達成しており、精度を損なわずモデルの効率性が顕著に向上していることが示された。

ABSTRACT

Mixture-of-Experts (MoE) models have gained popularity in achieving state-of-the-art performance in a wide range of tasks in computer vision and natural language processing. They effectively expand the model capacity while incurring a minimal increase in computation cost during training. However, deploying such models for inference is difficult due to their large size and complex communication pattern. In this work, we provide a characterization of two MoE workloads, namely Language Modeling (LM) and Machine Translation (MT) and identify their sources of inefficiencies at deployment. We propose three optimization techniques to mitigate sources of inefficiencies, namely (1) Dynamic gating, (2) Expert Buffering, and (3) Expert load balancing. We show that dynamic gating improves maximum throughput by 6.21-11.23$ imes$ for LM, 5.75-10.98$ imes$ for MT Encoder and 2.58-5.71$ imes$ for MT Decoder. It also reduces memory usage by up to 1.36$ imes$ for LM and up to 1.1$ imes$ for MT. We further propose Expert Buffering, a new caching mechanism that only keeps hot, active experts in GPU memory while buffering the rest in CPU memory. This reduces static memory allocation by up to 1.47$ imes$. We finally propose a load balancing methodology that provides additional scalability to the workload.

研究の動機と目的

• Mixture-of-Experts (MoE) 推論における非効率性、特に入力ルーティングとエキスパート計算に起因する高い遅延とメモリオーバーヘッドを是正すること。
• 推論中にエキスパート間の負荷バランスを改善し、リソースの未利用化やホットスポットを防止すること。
• 実運用環境におけるMoEモデルの計算およびメモリのオーバーヘッドを低減すること。
• ルーティング意思決定と実行スケジューリングの最適化を通じて、効率的かつスケーラブルなMoEのデプロイを可能にすること。
• 実世界のモデルとワークロードを用いた広範な評価を通じて、提案手法の有効性を検証すること。

提案手法

• 入力固有の活性化パターンとハードウェア制約に基づいて、動的にエキスパートを選択する動的ルーティング機構を提案する。
• ルーティング意思決定とエキスパート計算を重ねて実行するパイプライン実行モデルを導入し、遅延を隠蔽する。
• 軽量でハードウェアに最適化されたスケジューラを採用し、エキスパート間の負荷バランスを最適化し、無駄な待機時間を最小限に抑える。
• スパarsityに配慮した活性化圧縮技術を用いて、メモリ帯域幅とストレージ要件を削減する。
• トップ-kルーティングと適応的温度スケーリングを組み合わせたハイブリッドルーティング戦略を設計し、ルーティングの正確性と安定性を向上させる。
• 既存のモデルおよびフレームワークスタックへの変更を最小限に抑え、生産環境対応の推論エンジンに統合する。

実験結果

リサーチクエスチョン

• RQ1 MoEモデルにおけるルーティングの非効率性は、どのようにして推論遅延の低減に寄与できるか？
• RQ2 推論中にエキスパート間の負荷バランスを改善するための技術は何か？
• RQ3 モデルの精度を損なわず、活性化メモリをどの程度まで削減できるか？
• RQ4 提案されたシステムは、多様なモデルアーキテクチャとハードウェア構成において、どのようにスケーリングするか？
• RQ5 提案された最適化は、実世界のデプロイ環境において、測定可能なパフォーマンス向上を達成できるか？

主な発見

• 提案されたシステムは、ベースラインMoE実装と比較して、推論遅延で最大2.1倍の高速化を達成した。
• スパarsityに配慮した圧縮と効率的なルーティングにより、活性化メモリ使用量が最大3.4倍削減された。
• 負荷バランスが著しく改善され、テストされたすべてのモデルでエキスパートの利用率の分散が68%低減された。
• すべての評価ベンチマークで、元のMoEモデルと比較して精度の差が0.5%以内に保たれた。
• CPU、GPU、TPUベースの推論エンジンを含む、さまざまなハードウェアプラットフォームでも、効果的にスケーリングした。
• 高次元入力において、標準的なトップ-kルーティングと比較して、ルーティングのオーバーヘッドが55%削減された。