[논문 리뷰] LLM as a System Service on Mobile Devices

Wangsong Yin, Mengwei Xu외 2명|arXiv (Cornell University)|2024. 03. 18.

Business Process Modeling and Analysis인용 수 5

한 줄 요약

이 논문은 LLMS를 제시한다, 시스템 서비스 설계로 장치 내 LLM 컨텍스트를 청크 단위 KV 캐시 압축 및 스와핑을 통해 관리하여 앱 간 저지연, 지속 가능한 LLM 서비스를 가능하게 한다. 기본 대비 최대 두 자릿수 규모의 스위칭 대기 시간 감소와 정확도 손실 없이 상당한 개선을 시연한다.

ABSTRACT

Being more powerful and intrusive into user-device interactions, LLMs are eager for on-device execution to better preserve user privacy. In this work, we propose a new paradigm of mobile AI: LLM as a system service on mobile devices (LLMaaS). Unlike traditional DNNs that execute in a stateless manner, such a system service is stateful: LLMs execution often needs to maintain persistent states (mainly KV cache) across multiple invocations. To minimize the LLM context switching overhead under tight device memory budget, this work presents LLMS, which decouples the memory management of app and LLM contexts with a key idea of fine-grained, chunk-wise, globally-optimized KV cache compression and swapping. By fully leveraging KV cache's unique characteristics, it proposes three novel techniques: (1) Tolerance-Aware Compression: it compresses chunks based on their measured accuracy tolerance to compression. (2) IO-Recompute Pipelined Loading: it introduces recompute to swapping-in for acceleration. (3) Chunk Lifecycle Management: it optimizes the memory activities of chunks with an ahead-of-time swapping-out and an LCTRU (Least Compression-Tolerable and Recently-Used) queue based eviction. In evaluations conducted on well-established traces and various edge devices, \sys reduces context switching latency by up to 2 orders of magnitude when compared to competitive baseline solutions.

연구 동기 및 목표

• 모바일 기기를 위한 시스템 서비스(LMMaaS)로서 LLM의 개념을 시스템 서비스로 활용해 프라이버시, 가용성, 효율성을 개선한다.
• 지속적 LLM 컨텍스트의 메모리 병목과 전통적인 앱 수준 메모리 관리의 불충분함을 강조한다.
• LLMS를 앱 메모리와 LLM 컨텍스트 메모리를 분리하는 메모리 관리 프레임워크로 도입한다.
• 메모리 제약 하에서 컨텍스트 스위칭 성능을 극대화하기 위한 새로운 기법들을 개발한다.

제안 방법

• KV 캐시를 고정 크기 청크(예: 16 토큰)로 분할하여 독립적인 압축 및 스와핑이 가능하게 한다.
• 정보 밀도가 낮은 청크에 더 높은 압축을 할당하도록 허용된 허용 오차 인지 압축(Tolerance-Aware Compression)을 적용한다.
• 컨텍스트 로딩 중 재계산과 I/O를 중첩시키는 Swapping-Recompute 파이프라인을 도입한다.
• LCTRU 제거 큐와 사전 스와핑을 갖춘 청크 생애 주기 관리 전략을 사용하여 회수 대기 시간을 숨긴다.
• 앱이 LLMCtx 컨텍스트를 보유하고 callLLM을 통해 상호 작용하는 Android-서비스 유사 API 설계를 제공한다.
• 72시간 추적에서 Llama2-7B/OPT-7B를 포함한 COTS 기기에서 실증적으로 평가하고, LMK, 디스크 스와이핑, vLLM 베이스라인과 비교한다.

(a) The architecture of an LLM. We use Llama2 as an illustrative example. Embedding layer is omitted for simplicity.

실험 결과

연구 질문

• RQ1 LLMs가 시스템 서비스로 노출될 때 모바일 기기에서 LLM 컨텍스트 메모리를 어떻게 효율적으로 관리할 수 있는가?
• RQ2 적절한 청킹, 압축 및 스케줄링 전략은 정확성을 유지하면서 컨텍스트 스위칭 지연 시간을 최소화할 수 있는가?
• RQ3 Swapping-Recompute 파이프라인과 LCTRU 기반 제거 정책이 LLM 컨텍스트의 전통적 앱 수준 메모리 관리보다 우수한가?
• RQ4 실제 기기 추적 및 일반적인 LLM들에 대해 LLMS가 베이스라인 대비 얻는 성능 이점은 무엇인가?

주요 결과

• LLMS는 기존의 앱 수준 메모리 관리 및 디스크 스와핑 베이스라인에 비해 LLM 컨텍스트 스위칭 대기 시간을 최대 100배(두 자릿수 규모)까지 감소시킨다.
• 정적 8비트 양자화의 최신 vLLM과 비교하여 LLMS는 최대 20x의 스위칭 대기 시간 감소와 평균 9.7x를 달성한다.
• 11 LLMS의 청크-와이즈 허용 압축을 사용할 때 정확도 손실은 6개 데이터셋에서 관찰되지 않는다.
• LLMS는 Llama2-7B 및 OPT-7B와 함께 Jetson Orin NX, Jetson TX2, MI14 스마트폰에서 실용적인 온-디바이스 LLMaaS 실현 가능성을 보여준다.
• 이 방법은 KV 캐시의 고유한 속성(청크 단위 구조, 압축성, 재계산 가능성)을 활용하여 컨텍스트 관리를 최적화한다.

(b) The autoregressive inference with KV cache.