[논문 리뷰] PowerInfer-2: Fast Large Language Model Inference on a Smartphone

Zhenliang Xue, Yixin Song외 4명|arXiv (Cornell University)|2024. 06. 10.

Topic Modeling인용 수 4

한 줄 요약

PowerInfer-2는 대규모 언어 모델(최대 47B 파라미터)을 스마트폰에서 고속으로 현장에서 추론할 수 있도록 하는 프레임워크로, 행렬 계산을 세밀한 뉴런 클러스터 연산으로 분해하고, 다형성 뉴런 엔진을 통해 이종 하드웨어(CPU, GPU, NPU)를 활용하며, 세분화된 캐싱과 파ip라이닝으로 I/O를 최적화한다. 이는 최신 기술 대비 최대 29.2배의 성능 향상을 이룩했으며, 스마트폰에서 TurboSparse-Mixtral-47B를 11.68토큰/초의 속도로 실행한 최초의 시스템이다.

ABSTRACT

Large language models (LLMs) on smartphones enable real-time AI assistance and privacy-preserving, offline operation. However, resource constraints of smartphones limit current deployments to small language models (SLMs), significantly compromising their capabilities. This paper introduces PowerInfer-2, a smartphone-based framework that enables fast inference for LLMs exceeding the memory capacity. The key insight is decomposing matrix operations into neuron clusters as the basic processing unit, which enables flexible scheduling and efficient I/O-computation pipelining. PowerInfer-2 leverages this neuron-cluster-based design in both computation and storage. For computation, neuron clusters with dense activations are processed on NPU, while sparse clusters use CPU. The storage engine provides a fine-grained pipeline mechanism that coordinates cluster-level computation and I/O operations, enhanced by a segmented neuron cache to reduce I/O activities. PowerInfer-2 achieves up to a 27.8x speed increase compared to state-of-the-art frameworks. PowerInfer-2 is the first system to serve a 47B LLM on a smartphone, achieving 11.68 tokens/s. Notably, these performance improvements preserve model quality with negligible accuracy degradation.

연구 동기 및 목표

• 기기 메모리 용량을 초과하는 모델에 대해서도 스마트폰에서 고속의 현장 추론을 가능하게 하는 것.
• 스마트폰의 제한된 스토리지 대역폭과 단일 명령어 큐로 인한 모델 가중치 검색 시 I/O 병목 현상을 해결하는 것.
• 스마트폰 내 이종 XPU 자원(CPU, GPU, NPU)을 효율적으로 활용하여 LLM 추론을 가속화하는 것.
• 고속 추론 성능을 유지하면서도 메모리 내 모델의 메모리 사용량을 줄이는 것.
• TurboSparse-Mixtral-47B와 같은 매우 큰 MoE 모델을 모바일 기기에서 처음으로 실시간 성능으로 실행하는 것.

제안 방법

• LLM 추론에서 거시적 행렬 계산을 스마트폰 하드웨어 특성에 맞게 세밀한 뉴런 클러스터 연산으로 분해한다.
• 동적 계산 패tern을 적응하는 다형성 뉴런 엔진을 도입: 프리필 시에는 NPU 최적화의 큰 클러스터, 디코딩 시에는 CPU 최적화의 작은 클러스터.
• 뉴런 클러스터 수준에서 세분화된 뉴런 캐싱을 구현하고, 타입별 전략을 적용해 캐시 히트율을 높이며 I/O 오버헤드를 감소시킨다.
• 세밀한 뉴런 클러스터 수준의 파이프라인을 사용해 I/O 작업과 계산을 겹쳐 수행함으로써 I/O 지연을 효과적으로 숨긴다.
• LLM의 활성화 희박성 특성을 활용해 자주 사용되는 뉴런을 메모리에 캐시하고 덜 활성화된 뉴런은 플래시 스토리지로 오프로드한다.
• 메모리 외부 및 메모리 내 추론 시나리오를 모두 지원하며, 동적 가중치 오프로딩과 메모리 최적화를 구현한다.

(a)

실험 결과

연구 질문

• RQ1 기기 메모리 용량을 초과하는 모델에 대해 스마트폰에서 고속 LLM 추론을 달성할 수 있는가?
• RQ2 스마트폰에서 LLM 추론을 가속화하기 위해 이종 XPU 자원(CPU, GPU, NPU)을 어떻게 효과적으로 활용할 수 있는가?
• RQ3 스마트폰에서 LLM 추론 시 플래시 스토리지로부터 발생하는 I/O 오버헤드를 어느 정도 줄이거나 숨길 수 있는가?
• RQ4 고속 추론 성능을 유지하면서도 메모리 내 모델의 메모리 사용량을 크게 줄일 수 있는가?
• RQ5 TurboSparse-Mixtral-47B와 같은 매우 큰 MoE 모델을 스마트폰에서 실시간 성능으로 실행하는 것은 가능한가?

주요 결과

• PowerInfer-2는 두 대의 스마트폰에서 메모리 외부 추론 시 최신 기술 대비 최대 29.2배의 성능 향상을 기록했다.
• TurboSparse-Mixtral-47B 모델을 스마트폰에서 지원한 최초의 시스템으로, 11.68토큰/초의 생성 속도를 달성했다.
• 메모리 내 모델의 경우, PowerInfer-2는 성능이 llama.cpp 및 MLC-LLM와 유사한 수준을 유지하면서 약 40%의 메모리 사용량을 절감했다.
• FFN 가중치의 50%를 오프로드했을 때, PowerInfer-2는 TurboSparse-Mistral-7B 모델에서 약 1.5GB의 메모리 절감을 기록했으며, llama.cpp는 성능이 20.8배 악화되었고 MLC-LLM는 실행에 실패했다.
• 토큰당 평균 뉴런 캐시 미스 비율은 3.5%이지만, P99 비율은 18.9%에 달해 활성화 유사성 차이로 인한 높은 변동성을 보였다.
• TurboSparse-Mixtral-47B의 디코딩 지연은 평균 99.76ms, P99는 140.56ms로, 활성화 패턴과 캐시 동작에 의해 크게 영향을 받는다.

(b)