[논문 리뷰] Mixtral of Experts

Albert Q. Jiang, Alexandre Sablayrolles외 24명|arXiv (Cornell University)|2024. 01. 08.

Topic Modeling인용 수 115

한 줄 요약

Mixtral 8x7B는 8개 층당 8명의 전문가를 사용하고 토큰당 2명을 선택하는 희소 Mixture-of-Experts 언어 모델로, 47B 희소 매개변수와 13B 활성 매개변수를 달성하여 다수의 벤치마크에서 Llama 2 70B와 GPT-3.5를 능가하며, 여러 채팅 모델을 능가하는 지시문 튜닝 변형이 있다.

ABSTRACT

We introduce Mixtral 8x7B, a Sparse Mixture of Experts (SMoE) language model. Mixtral has the same architecture as Mistral 7B, with the difference that each layer is composed of 8 feedforward blocks (i.e. experts). For every token, at each layer, a router network selects two experts to process the current state and combine their outputs. Even though each token only sees two experts, the selected experts can be different at each timestep. As a result, each token has access to 47B parameters, but only uses 13B active parameters during inference. Mixtral was trained with a context size of 32k tokens and it outperforms or matches Llama 2 70B and GPT-3.5 across all evaluated benchmarks. In particular, Mixtral vastly outperforms Llama 2 70B on mathematics, code generation, and multilingual benchmarks. We also provide a model fine-tuned to follow instructions, Mixtral 8x7B - Instruct, that surpasses GPT-3.5 Turbo, Claude-2.1, Gemini Pro, and Llama 2 70B - chat model on human benchmarks. Both the base and instruct models are released under the Apache 2.0 license.

연구 동기 및 목표

• Open-weight SMoE 언어 모델의 개발 동기를 부여한다.
• Mixtral 8x7B를 오픈된 다중언어, 긴 컨텍스트 디코더-전용 SMoE로서 효율적인 추론과 함께 제시한다.
• 토큰당 계산이 작게 유지됨(K=2, 활성 파라미터 = 13B)하면서 전체 파라미터 수가 큰(47B) 것을 Demonstrate 한다.
• Mixtral이 수학, 코드, 다중언어 작업, 지시사항 이행 시나리오에서 최첨단 또는 경쟁력이 있음을 보여준다.

제안 방법

• Mixtral 8x7B 아키텍처 설명: 32층, MoE 층당 8명의 전문가, 라우터가 토큰당 두 전문가를 선택합니다.
• 게이팅 설명: Softmax(TopK(x · W_g))로 토큰당 전문가를 선택하며 K=2.
• FFN 블록을 MoE 블록으로 대체하고, 전문가 함수로 SwiGLU를 사용합니다.
• 컨텍스트 길이를 32768 토큰으로 확장; 오픈 소스 가중치는 Apache 2.0 하에 배포됩니다.
• 다국어 데이터 및 컨텍스트 윈도우를 활용한 학습과, Mixtral 8x7B – Instruct로 구성된 지시문 튜닝 변형을 상세히 기술합니다.
• 배포 고려사항: Megablocks 커널, vLLM 통합, EP 부하 균형 고려사항을 개략적으로 설명합니다.

Figure 1: Mixture of Experts Layer. Each input vector is assigned to 2 of the 8 experts by a router. The layer’s output is the weighted sum of the outputs of the two selected experts. In Mixtral, an expert is a standard feedforward block as in a vanilla transformer architecture.

실험 결과

연구 질문

• RQ1 Mixtral 8x7B가 표준 벤치마크에서 더 큰 밀집 모델(예: Llama 2 70B)과 경쟁적이거나 우수한 성능을 달성할 수 있는가?
• RQ2 고정된 토큰당 활성 매개변수 예산을 사용할 때 희소 Mixture-of-Experts의 효율성 및 확장성 이점은 무엇인가?
• RQ3 지시문 튜닝(Mixtral Instruct)이 오픈 가중치 경쟁 모델에 비해 사람 평가 성능을 우수하게 하는가?
• RQ4 Mixtral이 긴 컨텍스트 작업 및 다중언어 벤치마크에서 어떤 성능을 보이는가?
• RQ5 동등한 오픈 모델에 비해 Mixtral의 편향 및 안전성 특성은 어떠한가?

주요 결과

• Mixtral 8x7B가 대부분의 벤치마크에서 Llama 2 70B를 능가하거나 일치하며, 특히 수학 및 코드 생성에서 우수하다.
• 토큰당 활성 매개변수는 13B이고, 총 희소 매개변수 수는 47B이다.
• Mixtral–Instruct가 GPT-3.5 Turbo, Claude-2.1, Gemini Pro, 및 Llama 2 70B–chat를 인간 벤치마크에서 능가한다.
• 프랑스어, 독일어, 스페인어, 이탈리아어에서 Llama 2 70B에 비해 다국어 측면에서 상당한 이득이 있다.
• 긴 컨텍스트 테스트에서 컨텍스트 길이에 따라 100% 패스키 재현 정확도를 보여주며, 맥락이 길수록 혼돈도가 개선된다.
• Mixtral은 Llama 2 70B에 비해 바이어스가 감소하고 BBQ/BOLD 벤치마크에서 더 긍정적인 감정을 나타낸다.

Figure 2: Performance of Mixtral and different Llama models on a wide range of benchmarks . All models were re-evaluated on all metrics with our evaluation pipeline for accurate comparison. Mixtral outperforms or matches Llama 2 70B on all benchmarks. In particular, it is vastly superior in mathemat