Skip to main content
QUICK REVIEW

[논문 리뷰] Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving

Ruoyu Qin, Zheming Li|arXiv (Cornell University)|2024. 06. 24.
Semiconductor materials and devicesEngineering인용 수 12
한 줄 요약

Mooncake은 KVCache 중심의 분리형 LLM 서비스 아키텍처와 KVCache 스케줄러를 통해 과부하 인지 스케줄링을 가능하게 하여, 실제 워크로드에서 더 많은 처리량과 더 많은 요청 처리를 달성하는 큰 처리량 향상을 이끕니다.

ABSTRACT

Mooncake is the serving platform for Kimi, a leading LLM service provided by Moonshot AI. It features a KVCache-centric disaggregated architecture that separates the prefill and decoding clusters. It also leverages the underutilized CPU, DRAM, and SSD resources of the GPU cluster to implement a disaggregated cache of KVCache. The core of Mooncake is its KVCache-centric scheduler, which balances maximizing overall effective throughput while meeting latency-related Service Level Objectives (SLOs). Unlike traditional studies that assume all requests will be processed, Mooncake faces challenges due to highly overloaded scenarios. To mitigate these, we developed a prediction-based early rejection policy. Experiments show that Mooncake excels in long-context scenarios. Compared to the baseline method, Mooncake can achieve up to a 525% increase in throughput in certain simulated scenarios while adhering to SLOs. Under real workloads, Mooncake's innovative architecture enables Kimi to handle 75% more requests.

연구 동기 및 목표

  • MaaS 유사 LLM 서비스의 전반적인 유효 처리량(Maximize overall effective throughput)을 Latency 관련 SLO(TTFT 및 TBT)를 준수하는 범위에서 달성한다.
  • GPU 근처에 확장 가능한 KVCache 풀을 구축하기 위해 CPU, DRAM, SSD, RDMA 등의 분리된 하드웨어 자원을 활용한다.
  • 다양한 부하에서도 재사용, 배치, SLO 준수를 균형 있게 다루는 KVCache 중심의 스케줄러(Conductor)를 개발한다.
  • 낭비되는 계산을 피하기 위한 예측 기반 조기 거절 정책으로 과부하 시나리오를 다룬다.
  • MFU를 개선하고 TTFT를 감소시키기 위해 장-context 프리필, 레이어 단위 프리필, KVCache 복제 등의 아키텍처와 메커니즘을 제안한다.

제안 방법

  • prefill 및 decoding 풀로 GPU 클러스터 자원을 분리하고 CPU 메모리, DRAM, SSD, RDMA 전송 간 KVCache-backed 분리된 캐시를 Messenger로 구현한다.
  • 전역 스케줄러(Conductor)를 도입하여 KVCache 접두사 매칭, 전송 비용, 예측된 프리필 시간을 기반으로 prefill/decoding 인스턴스를 선택하고 TTFT/TBT SLO를 충족시킨다.
  • 긴-context 프리필을 위한 청크 기반 파이프라인 병렬화(CPP)를 사용해 TTFT를 감소시키고 KVCache 전송과 연산을 중첩시킨다.
  • 레이어 단위 프리필을 사용해 KVCache 로딩/저장을 연산과 중첩하고 VRAM 점유를 최소화한다.
  • 핫스팟 복제 및 KVCache 전송 결정을 포함한 KVCache 중심의 스케줄링 알고리즘을 Deploy하여 캐시 재사용과 인스턴스 부하를 균형 있게 조정한다.
  • 과부하 상황에서의 낭비된 계산을 피하기 위한 예측 로드에 의한 조기 거절 정책을 제안하고 시스템 안정성에 미치는 영향을 연구한다.

실험 결과

연구 질문

  • RQ1KVCache 중심의 분리형 아키텍처가 TTFT 및 TBT SLO를 준수하면서 LLM 서비스 처리량을 어떻게 향상시킬 수 있는가?
  • RQ2특히 과부하 상황에서 KVCache 재사용, 네트워크 전송, 컴퓨트 간의 균형을 맞추는 스케줄링 정책과 캐시 관리 전략(복제 포함)은 무엇인가?
  • RQ3청크 기반 프리필 및 레이어 단위 프리필이 MFU를 손상시키지 않으면서 긴-context 입력의 TTFT를 감소시키는가?
  • RQ4예측 로드를 기반으로 한 조기 거절 정책이 전체 좋은 처리량(goodput)과 자원 활용도에 어떤 영향을 미치는가?
  • RQ5실제 오픈 소스 요청 추적 구조(open-source real-world request trace structure)는 KVCache 재사용 연구를 어떻게 지원할 수 있는가?

주요 결과

  • Mooncake은 시뮬레이션 시나리오에서 baseline 방법 대비 최대 525%의 처리량 증가를 달성하면서 SLO를 충족한다.
  • 실제 워크로드에서 Mooncake은 Kimi가 75% 더 많은 요청을 처리할 수 있게 한다.
  • 긴-context 시나리오에서 KVCache 중심의 분리형 설계와 스케줄링이 뚜렷한 이점을 보인다.
  • 재현 가능한 재사용 분석을 위해 KVCache 블록 해시와 23,608 건의 실세계 요청 추적 샘플이 제공된다.
  • 레이어 단위 프리필과 CPP가 긴-context 입력의 TTFT를 감소시키고 KVCache 전송을 계산과 중첩해 MFU를 개선한다.
  • 단기 로드 예측에 의해 안내되는 조기 거절 정책은 과부하 조건에서 낭비되는 계산을 완화한다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.