[논문 리뷰] MoEfication: Conditional Computation of Transformer Models for Efficient Inference

Zhengyan Zhang, Yankai Lin외 4명|arXiv (Cornell University)|2021. 10. 05.

Topic Modeling참고 문헌 40인용 수 6

한 줄 요약

이 논문은 모델 크기를 늘리지 않고도 표준 모델을 희소 믹스온익스퍼트(MoE) 아키텍처로 변환함으로써 Transformer 추론을 가속화하는 MoEfication을 제안한다. 피드포워드 네트워크(FFN) 파라미터를 전문가로 분할하고, 라우터를 사용해 입력에 따라 조건부로 소수의 전문가만 활성화함으로써, MoEfication은 최대 80%의 계산량 감소를 이룬다. 예를 들어 7억 파라미터 모델에서 FFN 파라미터의 20%만 활성화되며, 텍스트 분류 및 독해 과제에서 성능 저하 없이도 이를 달성한다.

ABSTRACT

Transformer-based pre-trained language models can achieve superior performance on most NLP tasks due to large parameter capacity, but also lead to huge computation cost. Fortunately, we find by empirical study that, most inputs only activate a tiny ratio of neurons during inference. Hence, we explore to accelerate large-model inference by conditional computation based on the sparse activation phenomenon. We propose to transform a large model into its mixture-of-experts (MoE) version with equal model size, namely MoEfication. Model MoEfication consists of two steps: (1) splitting the parameters of feed-forward neural networks (FFNs) into multiple parts as experts, and (2) building expert routers to decide which experts will be used for each input. To further improve the performance of MoEfied models, we can also fine-tune the models on downstream tasks, namely parameter calibration. Experimental results show that the MoEfied models can significantly reduce computation cost, e.g., only activating 20% FFN parameters of a 700-million-parameter model without performance degradation on several downstream tasks including text classification and reading comprehension.

연구 동기 및 목표

• 대규모 사전학습된 Transformer 모델의 추론 시 높은 계산 비용 문제를 해결하기 위해.
• 입력당 활성화되는 뉴런의 비율이 낮다는 경험적 관찰을 활용해 희소 계산을 가능하게 하기 위해.
• 기존 모델의 파라미터 수와 동일한 수준을 유지하면서 표준 모델을 MoE 아키텍처로 변환할 수 있는 방법을 설계하기 위해.
• 하류 NLP 작업에서 성능 저하 없이 추론 효율성을 향상시키기 위해.
• 실제 벤치마크에서의 미세조정 및 정량적 평가를 통해 MoEfication의 효과성을 검증하기 위해.

제안 방법

• Transformer의 피드포워드 네트워크(FFN) 파라미터를 다수의 전문가 하위망으로 분할하기 위해.
• 입력 기반으로 동적으로 어떤 전문가를 활성화할지 선택하는 전문가 라우터 도입하기 위해.
• 모델 크기를 늘리지 않고도 전문가 간에 파라미터를 분산 배포함으로써 원본 모델과 동일한 총 파라미터 수 유지하기 위해.
• 하류 작업에서 성능 향상을 위해 미세조정을 통해 파라미터 校정 적용하기 위해.
• 추론 중에 입력당 소수의 전문가만 활성화하는 조건부 계산 적용으로 FLOPs 감소시키기 위해.
• 기존 모델에서 관찰된 희소 활성화 패턴을 활용해 전문가 라우팅과 효율성 향상을 이끌어내기 위해.

실험 결과

연구 질문

• RQ1 희소 활성화 패턴을 활용해 대규모 Transformer 모델의 추론 효율성을 크게 향상시킬 수 있는가?
• RQ2 기존 파라미터 수를 유지하면서 표준 Transformer를 믹스온익스퍼트(MoE) 아키텍처로 변환해도 모델 성능이 유지되는가?
• RQ3 성능 저하 없이 조건부 계산이 FLOPs 감소에 얼마나 효과적인가?
• RQ4 미세조정을 통한 파라미터 校정이 MoEfied 모델 성능 향상에 얼마나 효과적인가?
• RQ5 MoEfication은 텍스트 분류 및 독해 과제와 같은 다양한 NLP 작업에 효과적으로 적용될 수 있는가?

주요 결과

• MoEfication은 추론 중 계산 비용을 최대 80%까지 감소시키며, 7억 파라미터 모델에서 FFN 파라미터의 20%만 활성화된다.
• MoEfied 모델은 원본 모델과 비교해도 텍스트 분류 및 독해 과제와 같은 하류 작업에서 성능 저하 없이 동일한 성능 유지를 한다.
• 기존 모델과 동일한 총 파라미터 수를 유지함으로써 모델 용량을 그대로 유지하면서도 뚜렷한 효율성 향상을 달성한다.
• 미세조정(파라미터 校정)은 하류 작업에서 MoEfied 모델의 성능 향상에 효과적임을 확인하며, 이는 그 효과성을 뒷받침한다.
• 경험적 분석을 통해 대부분의 입력이 소수의 뉴런만 활성화하는 것으로 확인되어, MoEfication의 조건부 계산 기반 설계의 타당성이 입증된다.