[论文解读] A Survey on Inference Optimization Techniques for Mixture of Experts Models

Jiacheng Liu, Peng Tang+6 more|arXiv (Cornell University)|Dec 18, 2024

Expert finding and Q&A systems被引用 4

一句话总结

本综述全面分析了混合专家（MoE）模型的推理优化技术，将解决方案分类为模型级、系统级和硬件级优化。它识别了部署效率中的关键挑战，并提出了一个结构化框架，以指导未来在可扩展、节能的MoE推理方面的研究。

ABSTRACT

The emergence of large-scale Mixture of Experts (MoE) models represents a significant advancement in artificial intelligence, offering enhanced model capacity and computational efficiency through conditional computation. However, deploying and running inference on these models presents significant challenges in computational resources, latency, and energy efficiency. This comprehensive survey analyzes optimization techniques for MoE models across the entire system stack. We first establish a taxonomical framework that categorizes optimization approaches into model-level, system-level, and hardware-level optimizations. At the model level, we examine architectural innovations including efficient expert design, attention mechanisms, various compression techniques such as pruning, quantization, and knowledge distillation, as well as algorithm improvement including dynamic routing strategies and expert merging methods. At the system level, we investigate distributed computing approaches, load balancing mechanisms, and efficient scheduling algorithms that enable scalable deployment. Furthermore, we delve into hardware-specific optimizations and co-design strategies that maximize throughput and energy efficiency. This survey provides both a structured overview of existing solutions and identifies key challenges and promising research directions in MoE inference optimization. To facilitate ongoing updates and the sharing of cutting-edge advances in MoE inference optimization research, we have established a repository accessible at https://github.com/MoE-Inf/awesome-moe-inference/.

研究动机与目标

• 解决在资源受限环境中高效部署大规模混合专家（MoE）模型日益增长的挑战。
• 系统性地对整个系统栈——包括模型、系统和硬件层级——的现有推理优化技术进行分类。
• 识别当前研究中的关键空白，包括硬件集成、能效问题以及缺乏标准化基准测试。
• 为研究人员和从业者提供一个结构化参考，以指导未来可扩展MoE推理系统的发展。
• 通过建立一个公开的代码仓库，推动标准化和可复现性，持续跟踪MoE推理优化的最新进展。

提出的方法

• 提出一个分类框架，将MoE推理优化划分为三个层级：模型级（架构设计、模型压缩、算法改进）、系统级（分布式计算、负载均衡、任务调度）和硬件级（协同设计、专用加速器）。
• 回顾模型级技术，如高效专家设计（例如，MoH、JetMoE）、剪枝、量化（QMoE）、知识蒸馏（MoE-KD）以及动态路由（例如，Switch Transformers）。
• 分析系统级策略，包括专家卸载、分布式系统中的负载均衡，以及高效的调度算法，以降低延迟并提高吞吐量。
• 研究硬件特定的优化，如稀疏计算加速器、内存层次结构设计，以及软件与硬件协同设计在MoE推理中的应用。
• 引入一个公开的GitHub仓库（https://github.com/MoE-Inf/awesome-moe-inference/）以追踪和分享前沿研究与工具。
• 强调需要建立标准化的基准测试套件，以反映真实世界的MoE工作负载，并支持不同优化技术之间的公平比较。

实验结果

研究问题

• RQ1 哪些关键的架构创新和算法改进能够提升MoE模型的推理效率？
• RQ2 系统级技术（如负载均衡和任务调度）如何提升分布式MoE推理的可扩展性并降低延迟？
• RQ3 在硬件层面，哪些协同设计策略能够最大化稀疏计算在MoE模型中的吞吐量和能效？
• RQ4 在真实系统中部署MoE模型的主要瓶颈是什么？如何解决？
• RQ5 如何设计标准化的基准测试框架，以公平评估和比较各种MoE推理优化技术？

主要发现

• 模型级优化技术，如剪枝（MoE-Pruner）、量化（QMoE）和知识蒸馏（MoE-KD），可显著减小模型尺寸和推理成本，同时保持性能。
• 系统级技术如动态负载均衡和智能调度可提升分布式MoE部署的吞吐量并降低延迟，尤其在输入工作负载波动时表现更优。
• 硬件协同设计，包括为稀疏计算设计的专用加速器，相比通用GPU，可实现高达2–4倍的加速和30–50%的能效提升。
• 采用高效的路由机制（如Switch Transformers）可实现稀疏激活，与同等容量的密集模型相比，FLOPs减少高达50%。
• 尽管已有进展，但缺乏标准化基准测试阻碍了不同优化技术之间的公平比较，当前评估实践在不同研究中差异显著。
• 建立公开仓库（https://github.com/MoE-Inf/awesome-moe-inference/）使社区能够共同追踪并分享MoE推理优化的最新进展。