[論文レビュー] A Survey on Inference Optimization Techniques for Mixture of Experts Models

Jiacheng Liu, Peng Tang+6 more|arXiv (Cornell University)|Dec 18, 2024

Expert finding and Q&A systems被引用数 4

ひとこと要約

本サーベイは、Mixture of Experts (MoE) モデルにおける推論最適化技術について包括的な分析を提供し、モデルレベル、システムレベル、ハードウェアレベルの最適化に分類している。運用効率に関する主要な課題を特定し、スケーラブルでエネルギー効率の高い MoE 推論のための構造的フレームワークを提唱している。

ABSTRACT

The emergence of large-scale Mixture of Experts (MoE) models represents a significant advancement in artificial intelligence, offering enhanced model capacity and computational efficiency through conditional computation. However, deploying and running inference on these models presents significant challenges in computational resources, latency, and energy efficiency. This comprehensive survey analyzes optimization techniques for MoE models across the entire system stack. We first establish a taxonomical framework that categorizes optimization approaches into model-level, system-level, and hardware-level optimizations. At the model level, we examine architectural innovations including efficient expert design, attention mechanisms, various compression techniques such as pruning, quantization, and knowledge distillation, as well as algorithm improvement including dynamic routing strategies and expert merging methods. At the system level, we investigate distributed computing approaches, load balancing mechanisms, and efficient scheduling algorithms that enable scalable deployment. Furthermore, we delve into hardware-specific optimizations and co-design strategies that maximize throughput and energy efficiency. This survey provides both a structured overview of existing solutions and identifies key challenges and promising research directions in MoE inference optimization. To facilitate ongoing updates and the sharing of cutting-edge advances in MoE inference optimization research, we have established a repository accessible at https://github.com/MoE-Inf/awesome-moe-inference/.

研究の動機と目的

• リソース制約のある環境において、大規模な Mixture of Experts (MoE) モデルを効率的に展開するという増大する課題に対処すること。
• モデル、システム、ハードウェアレベルの全スタックにわたる、既存の推論最適化技術を体系的に分類すること。
• 現在の研究における主要なギャップを特定すること、特にハードウェア統合、エネルギー効率、標準化されたベンチマークの欠如。
• 将来のスケーラブルな MoE 推論システムの開発を支援するための構造的リファレンスを提供すること。
• 標準化と再現可能性を促進するために、MoE 推論最適化分野における最新の進展を追跡・共有するための公開リポジトリを確立すること。

提案手法

• MoE 推論最適化を3段階に分類する分類的フレームワークを提案：モデルレベル（アーキテクチャ設計、圧縮、アルゴリズム改善）、システムレベル（分散計算、負荷分散、スケジューリング）、ハードウェアレベル（共同設計、専用アクセラレータ）。
• 効率的なエキスパート設計（例：MoH、JetMoE）、プルーニング、量子化（QMoE）、知識蒸留（MoE-KD）、および動的ルーティング（例：Switch Transformers）を含むモデルレベル技術をレビュー。
• エキスパートのオフロード、分散システムにおける負荷分散、低遅延を実現するための効率的なスケジューリングアルゴリズムを含むシステムレベル戦略を分析。
• スパース計算アクセラレータ、メモリ階層設計、ソフトウェアとシリコンの共同設計を含むハードウェア固有の最適化を検討。
• 最新の研究およびツールを追跡・共有できる公開 GitHub リポジトリ（https://github.com/MoE-Inf/awesome-moe-inference/）を導入。
• 実世界の MoE ワークロードを反映し、最適化手法間の公平な比較を可能にする標準化されたベンチマークスイートの必要性を強調。

実験結果

リサーチクエスチョン

• RQ1 MoE モデルにおける推論効率を向上させる主なアーキテクチャ的およびアルゴリズム的革新は何であるか？
• RQ2 負荷分散やスケジューリングといったシステムレベル技術は、分散 MoE 推論におけるスケーラビリティをどのように向上させ、遅延を低減できるか？
• RQ3 スパース計算におけるスループットとエネルギー効率を最大化するためのハードウェアレベル共同設計戦略は何か？
• RQ4 実世界のシステムに MoE モデルを展開する際の主なボトル neck とは何か、そしてそれらはどのように克服できるか？
• RQ5 多様な MoE 推論最適化手法を公平に評価・比較できるようにするため、標準化されたベンチマークフレームワークをどのように設計できるか？

主な発見

• プルーニング（MoE-Pruner）、量子化（QMoE）、知識蒸留（MoE-KD）といったモデルレベル最適化は、パフォーマンスを維持したままモデルサイズと推論コストを顕著に削減する。
• 動的負荷分散や知的スケジューリングといったシステムレベル技術は、特に入力ワークロードが変動する状況下でも、スループットを向上させ、遅延を低減する。
• 専用アクセラレータを用いたハードウェア共同設計により、一般の GPU と比較して、MoE 推論で最大 2–4 倍の高速化と 30–50% のエネルギー削減が達成可能である。
• 効率的なルーティング機構（例：Switch Transformers）の採用により、スパース活性化が可能となり、同等の容量を持つ密度型モデルと比較して FLOPs を最大 50% 削減できる。
• 進展にもかかわらず、標準化されたベンチマークの欠如により、最適化手法間の公平な比較が困難となっており、現在の評価手法は研究間で大きくばらついている。
• 公開リポジトリ（https://github.com/MoE-Inf/awesome-moe-inference/）の設立により、コミュニティ主導の最新の MoE 推論最適化分野の進展の追跡と共有が可能になった。