[논문 리뷰] Mixture of Experts with Mixture of Precisions for Tuning Quality of Service

HamidReza Imani, Abdolah Amirany외 1명|arXiv (Cornell University)|2024. 07. 19.

Engineering Technology and Methodologies인용 수 4

한 줄 요약

이 논문은 자원이 제한된 환경에서 Mixture-of-Experts (MoE) 모델을 효율적으로 배포하기 위해 CPU 및 GPU에서 16비트와 4비트 정밀도를 동적으로 혼합하는 적응형 서빙 프레임워크를 제안한다. 이는 처리량과 모델 품질을 조정할 수 있도록 한다. 전용 레이어만 부분적으로 정량화함으로써, A100 GPU에서 최대 13.00 토큰/초의 처리량을 달성하면서 WikiText2에서 최대 정량화 조건 하에 퍼플렉서티가 2.62–2.80 증가하는 데 그치며, 자원이 제한된 동적 환경에서 세밀한 성능 조정이 가능하다.

ABSTRACT

The increasing demand for deploying large Mixture-of-Experts (MoE) models in resource-constrained environments necessitates efficient approaches to address their high memory and computational requirements challenges. Moreover, given that tasks come in different user-defined constraints and the available resources change over time in multi-tenant environments, it is necessary to design an approach which provides a flexible configuration space. This paper presents an adaptive serving approach for the efficient deployment of MoE models, capitalizing on partial quantization of the experts. By dynamically determining the number of quantized experts and their distribution across CPU and GPU, our approach explores the Pareto frontier and offers a fine-grained range of configurations for tuning throughput and model quality. Our evaluation on an NVIDIA A100 GPU using a Mixtral 8x7B MoE model for three language modelling benchmarks demonstrates that the throughput of token generation can be adjusted from 0.63 to 13.00 token per second. This enhancement comes with a marginal perplexity increase of 3.81 to 4.00, 13.59 to 14.17, and 7.24 to 7.40 for WikiText2, PTB, and C4 datasets respectively under maximum quantization. These results highlight the practical applicability of our approach in dynamic and accuracy-sensitive applications where both memory usage and output quality are important.

연구 동기 및 목표

• 자원이 제한된 다중 테넌트 환경에서 대규모 MoE 모델을 배포할 때 발생하는 높은 메모리 및 계산 오버헤드를 해결하기 위해.
• 유저 제약 조건과 가용 GPU 메모리가 변동하는 상황에서 모델 처리량과 출력 품질을 동적으로 설정할 수 있도록 하기 위해.
• 전용 레이어만 선택적으로 정량화하여 CPU와 GPU 간의 데이터 이동 병목 현상을 줄이기 위해.
• 실시간 시스템 조건 변화에 대응할 수 있도록 세밀하고도 융통성 있는 설정 공간을 제공하기 위해.

제안 방법

• 이 방법은 부분 정량화를 활용하며, 비전용 레이어는 16비트 유지하고 전용 피드포워드 레이어만 4비트 또는 16비트 정밀도로 정량화한다.
• 가용 메모리와 성능 목표에 따라 4비트 전용 레이어의 수와 CPU 및 GPU 간 분포를 동적으로 결정한다.
• 하이브리드 실행 모델을 사용하여 전용 레이어를 가능한 한 GPU에 로드하고 필요에 따라 CPU로 오프로드함으로써 데이터 이동을 최소화한다.
• 메모리 프로필, 계산량, 모델 품질을 균형 잡는 데 초점을 맞춘 구성의 파레토 경계를 탐색함으로써 처리량과 퍼플렉서티를 최적화한다.
• PyTorch의 텐서 연산을 활용하여 혼합 정밀도 추론을 지원하며 최소한의 런타임 오버헤드를 유도한다.
• 모델 서빙을 추론 시점에 적응시켜 재학습 없이도 런타임 재구성 가능하다.

실험 결과

연구 질문

• RQ1 자원 가용성이 변동하고 사용자 제약 조건이 유동적인 단일 GPU 환경에서 MoE 모델을 어떻게 효율적으로 서빙할 수 있는가?
• RQ2 전용 레이어의 부분 정량화(4비트 대 16비트)가 모델 퍼플렉서티와 추론 처리량에 어떤 영향을 미치는가?
• RQ3 혼합 정밀도 및 혼합 위치(CPU/GPU) 전용 배포 전략이 모델 품질과 처리량 사이에 세밀한 트레이드오프를 달성할 수 있는가?
• RQ4 정량화된 전용 레이어의 구성 공간이 MoE 추론의 메모리 프로필과 성능에 어떤 영향을 미치는가?

주요 결과

• NVIDIA A100 GPU에서 다양한 메모리 제약 조건 하에 토큰 생성 처리량은 0.63에서 13.00 토큰/초 사이로 변동한다.
• 최대 정량화 조건 하에서도 퍼플렉서티 증가가 미미하다: WikiText2에서는 2.62에서 2.80으로, PTB에서는 6.48에서 7.24로, C4에서는 3.24에서 3.53으로 증가한다.
• 모델 크기는 전체 16비트일 때 94.21 GB에서 최대 4비트 정량화 전용 레이어로 23.55 GB로 감소하며, WikiText2에서 퍼플렉서티는 2.62로 증가한다.
• 적응형 접근 방식은 모델 크기를 75% 감소시켜 94.21 GB에서 23.55 GB로 줄였으며, 모든 벤치마크에서 퍼플렉서티 증가율이 10% 이내로 유지된다.
• 가용 GPU 메모리와 정량화된 전용 레이어 수가 증가할수록 처리량이 hyperbolic 성장함을 보이며, 메모리 병목 현상이 효과적으로 완화됨을 시사한다.
• 동일한 정량화 기반 모델 대비 더 나은 모델 크기, 처리량, 출력 품질 트레이드오프를 제공함으로써 성능이 뛰어나다.