[논문 리뷰] A Survey on Inference Optimization Techniques for Mixture of Experts Models

Jiacheng Liu, Peng Tang외 6명|arXiv (Cornell University)|2024. 12. 18.

Expert finding and Q&A systems인용 수 4

한 줄 요약

이 종합적 서베이는 Mixture of Experts (MoE) 모델을 위한 추론 최적화 기법을 포괄적으로 분석하며, 모델 수준, 시스템 수준, 하드웨어 수준의 최적화로 솔루션을 분류한다. 배포 효율성의 핵심 과제를 규명하고, 확장성 있고 에너지 효율적인 MoE 추론을 위한 체계적인 프레임워크를 제안한다.

ABSTRACT

The emergence of large-scale Mixture of Experts (MoE) models represents a significant advancement in artificial intelligence, offering enhanced model capacity and computational efficiency through conditional computation. However, deploying and running inference on these models presents significant challenges in computational resources, latency, and energy efficiency. This comprehensive survey analyzes optimization techniques for MoE models across the entire system stack. We first establish a taxonomical framework that categorizes optimization approaches into model-level, system-level, and hardware-level optimizations. At the model level, we examine architectural innovations including efficient expert design, attention mechanisms, various compression techniques such as pruning, quantization, and knowledge distillation, as well as algorithm improvement including dynamic routing strategies and expert merging methods. At the system level, we investigate distributed computing approaches, load balancing mechanisms, and efficient scheduling algorithms that enable scalable deployment. Furthermore, we delve into hardware-specific optimizations and co-design strategies that maximize throughput and energy efficiency. This survey provides both a structured overview of existing solutions and identifies key challenges and promising research directions in MoE inference optimization. To facilitate ongoing updates and the sharing of cutting-edge advances in MoE inference optimization research, we have established a repository accessible at https://github.com/MoE-Inf/awesome-moe-inference/.

연구 동기 및 목표

• 자원이 제한된 환경에서 대규모 Mixture of Experts (MoE) 모델을 효율적으로 배포하는 데 증가하는 과제를 해결한다.
• 모델, 시스템, 하드웨어 수준의 전체 시스템 스택을 아우르는 기존의 추론 최적화 기법을 체계적으로 분류한다.
• 현재 연구의 주요 격차를 규명한다. 하드웨어 통합, 에너지 효율성, 표준화된 벤치마킹 부족이 포함된다.
• 연구자와 실무자들이 향후 확장 가능한 MoE 추론 시스템 개발을 안내할 수 있는 체계적인 참조 자료를 제공한다.
• 표준화와 재현 가능성을 촉진하기 위해 MoE 추론 최적화 분야의 지속적인 발전을 기록하고 공유하기 위한 공개 레포지터리를 구축한다.

제안 방법

• MoE 추론 최적화를 세 수준으로 분류하는 분류 체계를 제안한다: 모델 수준(아키텍처 설계, 압축, 알고리즘 개선), 시스템 수준(분산 컴퓨팅, 로드 밸런싱, 스케줄링), 하드웨어 수준(공ออกแบบ, 전용 가속기).
• 효율적인 전문가 설계(MoH, JetMoE), 프루닝, 양자화(QMoE), 지식 정복(MoE-KD), 동적 라우팅(Switch Transformers 등)과 같은 모델 수준 기법을 검토한다.
• 전문가 오프로딩, 분산 시스템 내 로드 밸런싱, 지연 감소 및 처리량 향상에 기여하는 효율적 스케줄링 알고리즘과 같은 시스템 수준 전략을 분석한다.
• 희소 계산 가속기, 메모리 계층 구조 설계, 소프트웨어와 실리콘 간의 공ออกแบบ과 같은 하드웨어 특화 최적화를 검토한다.
• 최신 연구 및 도구를 추적하고 공유하기 위해 공개 GitHub 레포지터리(https://github.com/MoE-Inf/awesome-moe-inference/)를 도입한다.
• 실제 MoE 워크로드를 반영하고 다양한 최적화 기법 간의 공정한 비교를 지원하는 표준화된 벤치마킹 세트의 필요성을 강조한다.

실험 결과

연구 질문

• RQ1 MoE 모델의 추론 효율성을 향상시키는 데 기여하는 주요 아키텍처 및 알고리즘 혁신은 무엇인가?
• RQ2 로드 밸런싱 및 스케줄링과 같은 시스템 수준 기법은 분산 MoE 추론에서 확장성과 지연 감소에 어떻게 기여하는가?
• RQ3 희소 계산을 위한 MoE 모델에서 처리량과 에너지 효율성을 극대화하는 데 하드웨어 수준의 공ออกแบบ 전략은 무엇인가?
• RQ4 실제 시스템에 MoE 모델을 배포할 때 주요 병목 현상은 무엇이며, 이를 어떻게 해결할 수 있는가?
• RQ5 다양한 MoE 추론 최적화 기법을 공정하게 평가하고 비교할 수 있도록 설계된 표준화된 벤치마킹 프레임워크는 어떻게 설계할 수 있는가?

주요 결과

• 프루닝(MoE-Pruner), 양자화(QMoE), 지식 정복(MoE-KD)과 같은 모델 수준 최적화는 성능을 유지하면서 모델 크기와 추론 비용을 크게 감소시킨다.
• 동적 로드 밸런싱 및 지능적인 스케줄링과 같은 시스템 수준 기법은 특히 변동성이 큰 입력 워크로드 하에서 분산 MoE 구현의 처리량 향상과 지연 감소에 기여한다.
• 특수화된 가속기를 포함한 하드웨어 공ออกแบบ은 일반 목적 GPU 대비 MoE 추론에서 최대 2–4배의 속도 향상과 30–50%의 에너지 절감을 달성할 수 있다.
• 효율적인 라우팅 메커니즘(예: Switch Transformers)의 도입은 희소 활성화를 가능하게 하여 유사 용량의 밀도 모델 대비 FLOPs를 최대 50% 감소시킨다.
• 진전에도 불구하고 표준화된 벤치마킹이 부족하여 최적화 기법 간의 공정한 비교가 어렵고, 현재 평가 방법은 연구 간에 다양하게 차이가 난다.
• 공개 레포지터리(https://github.com/MoE-Inf/awesome-moe-inference/)의 구축은 MoE 추론 최적화 분야의 신속한 발전을 공동으로 추적하고 공유할 수 있는 기반을 마련한다.