Skip to main content
QUICK REVIEW

[논문 리뷰] EdgeMoE: Empowering Sparse Large Language Models on Mobile Devices

Rongjie Yi, Liwei Guo|arXiv (Cornell University)|2023. 08. 28.
Topic ModelingComputer Science인용 수 18
한 줄 요약

EdgeMoE는 엣지 디바이스에서 희소한 LLM을 가능하게 하기 위해 메모리-저장소 분할, 전문가별 양자화, 그리고 메모리 내 전문가 관리 기능을 사용하는 혼합 전문가(MoE) LLM용 기기 내 추론 엔진이다.

ABSTRACT

Large language models (LLMs) such as GPTs and Mixtral-8x7B have revolutionized machine intelligence due to their exceptional abilities in generic ML tasks. Transiting LLMs from datacenters to edge devices brings benefits like better privacy and availability, but is challenged by their massive parameter size and thus unbearable runtime costs. To this end, we present EdgeMoE, an on-device inference engine for mixture-of-expert (MoE) LLMs -- a popular form of sparse LLM that scales its parameter size with almost constant computing complexity. EdgeMoE achieves both memory- and compute-efficiency by partitioning the model into the storage hierarchy: non-expert weights are held in device memory; while expert weights are held on external storage and fetched to memory only when activated. This design is motivated by a key observation that expert weights are bulky but infrequently used due to sparse activation. To further reduce the expert I/O swapping overhead, EdgeMoE incorporates two novel techniques: (1) expert-wise bitwidth adaptation that reduces the expert sizes with tolerable accuracy loss; (2) expert preloading that predicts the activated experts ahead of time and preloads it with the compute-I/O pipeline. On popular MoE LLMs and edge devices, EdgeMoE showcase significant memory savings and speedup over competitive baselines. The code is available at https://github.com/UbiquitousLearning/mllm.

연구 동기 및 목표

  • 메모리 및 I/O 비용으로 인한 대형 MoE LLM의 엣지 디바이스 배치 도전 과제를 동기화한다.
  • 메모리와 외부 저장소에 걸쳐 핫(비전문가)과 콜드(전문가) 가중치를 구분하여 기기 내 추론을 가능하게 하는 EdgeMoE를 제안한다.
  • 전문가별 비트폭 적응과 메모리 내 전문가 관리의 두 가지 기법을 개발하여 전문가 I/O 오버헤드를 줄인다.
  • 여러 MoE 모델과 엣지 디바이스에서 접근법을 시연하여 메모리 절감과 속도 향상을 보여준다.
  • 엣지 디바이스에서 대화형 작업을 지원하기 위한 양자화와 전문가 선로드를 위한 오프라인-온라인 워크플로를 제공한다.

제안 방법

  • 저장 계층에 따라 모델 가중치를 분할한다; 비전문가 가중치를 디바이스 메모리에 보관하고 활성화된 전문가만 외부 저장소에서 로드한다.
  • 사용자 지정 정확도 손실 하에서 전문가별 채널 단위 선형 양자화를 적용하여 혼합 정밀도 전문가 집합을 만든다.
  • 전문가 중요도 순위를 매기고 비트폭을 할당하기 위한 오프라인 프로파일링; 전문가 비트폭 선택을 안내하는 런타임 모델을 구성한다.
  • 메모리 내 전문가 관리와 재배치(re-batching) 및 예측 기반 선로드 파이프라인으로 I/O 비용을 숨긴다.
  • 활성 가능성이 높은 전문가의 선로드를 위한 활성화 확률 사전을 구축하기 위한 오프라인 프로파일링.
  • 현재 계산과의 계층 근접성 및 전문가 활성화 빈도를 고려하는 맞춤형 캐시 제거 정책이다.

실험 결과

연구 질문

  • RQ1다수의 전문가로 인해 제기되는 메모리와 I/O 병목 현상에도 불구하고 MoE LLM을 엣지 디바이스에서 어떻게 효율적으로 실행할 수 있는가?
  • RQ2전문가별 양자화와 예측 기반 선로드를 활용하여 기기 내 MoE 추론의 메모리 사용량과 지연 시간을 줄일 수 있는가?
  • RQ3자율회귀 디코딩 중 캐시 적중을 극대화하기 위한 전문가 가중치의 구성 및 캐싱에 대한 효과적인 전략은 무엇인가?
  • RQ4베이스라인 대비 EdgeMoE로 대표 엣지 플랫폼에서 달성 가능한 성능 향상(메모리 및 속도)은 무엇인가?
  • RQ5인코더-디코더 및 디코더 전용 MoE 아키텍처와 다양한 엣지 하드웨어에 대해 EdgeMoE의 일반화 가능성은 어느 정도인가?

주요 결과

  • EdgeMoE는 메모리에 전체 MoE 모델을 보유하는 것에 비해 약 1.05×에서 1.18×의 메모리 사용량 감소를 달성한다.
  • 전문가 로딩과 함께 메모리 최적화 베이스라인 대비 1.11×에서 2.78×의 추론 속도 향상을 달성한다.
  • 이 접근법은 Jetson TX2와 같은 일반 소비자용 엣지 디바이스에서 10B 이상 규모의 MoE LLM에 대한 빠른 추론을 가능하게 한다.
  • 혼합 정밀도(INT2/INT4/INT8)로 전문가를 양자화하면 저장 용량이 크게 감소하면서도 정확도 손실은 작다.
  • 전문가별 비트폭 적응과 메모리 내 전문가 관리가 함께 로딩과 계산 중첩을 개선하여 전반적인 대기 시간을 감소시킨다.
  • 오프라인 활성화 프로파일링과 온라인 선로드를 결합한 파이프라인은 계층당 1–3개의 전문가를 미리 로드하여 실제로 I/O 지연을 숨길 수 있다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.