[논문 리뷰] Chiplet Cloud: Building AI Supercomputers for Serving Large Generative Language Models

Huwan Peng, Scott Davidson외 3명|arXiv (Cornell University)|2023. 07. 05.

Ferroelectric and Negative Capacitance Devices인용 수 5

한 줄 요약

Chiplet Cloud는 대규모 언어 모델의 모든 파라미터를 온칩 SRAM에 저장하여 외부 메모리 대역폭 장벽을 제거하고, 토큰당 총소유비용(TCO)을 획기적으로 낮추는 칩렛 기반 ASIC AI 슈퍼컴퓨터 아키텍처를 제안한다. 수천 개의 칩렛 간 하드웨are-소프트웨어 공동 설계를 통해 A100 GPU 클라우드 대비 최대 94배, TPUv4 클라우드 대비 15배 높은 토큰당 총소유비용(TCO)을 달성한다.

ABSTRACT

Large language models (LLMs) such as OpenAI's ChatGPT and Google's Gemini have demonstrated unprecedented capabilities of autoregressive AI models across multiple tasks triggering disruptive technology innovations around the world. However, as models continue to grow the cost to serve these models also continues to grow threatening the democratization of LLMs. To address this issue, we propose Chiplet Cloud, a chiplet-based ASIC LLM-supercomputer architecture whose goal is to optimize the total cost of ownership (TCO) per generated token. This architecture is a highly parameterizable ASIC and server-level architecture leveraging thousands of replicated accelerator modules collaborating to scale-up the performance of LLMs at cloud-scale. To determine specific parameterizations of the Chiplet Cloud architecture, we implemented a two-phase hardware-software co-design methodology that can search the massive design space and fine tune the architecture across a collection of LLMs based on an accurate inference simulation. A common bottleneck for LLMs is the memory access performance therefore we introduce CC-MEM, a scalable on-chip memory system for Chiplet Cloud architectures. Using the CC-MEM, Chiplet Clouds can be built using only SRAMs for design points where the power and performance of memory access is critical. The CC-MEM also includes a compression decoder module to add support for sparse models without impacting the compute units using a Store-as-Compressed, Load-as-Dense mechanism. We evaluate Chiplet Cloud architectures across eight popular LLMs. Using fine tuned Chiplet Cloud servers we are able to achieve $97 imes$ and $18 imes$ improvement in TCO/Token over rented GPU and TPU clouds, or a $8.3 imes$ and $3.7 imes$ improvement over fabricated GPU and TPU clouds respectively. Chiplet Cloud can also support $1.7 imes$ larger models with a sparsity of 60\%.

연구 동기 및 목표

• 기존 GPU 및 TPU 플랫폼에서 대규모 생성형 언어 모델(LLMs)을 운영할 때 증가하는 하드웨어 비용과 에너지 비효율성 문제를 해결한다.
• 모놀리식 칩의 확장성 한계를 극복한다. 이는 마이크로소프트 법칙의 둔화와 LLM 추론에서 증가하는 메모리 대역폭 요구사항 때문이며, 이를 해결하기 위해 칩렛 기반 아키텍처를 도입한다.
• 실제 응용 분야에서 대규모 LLM에의 접근성을 보편화하기 위해 생성된 토큰당 총소유비용(TCO)을 최소화한다.
• 다양한 모델 크기와 컨텍스트 길이를 지원하는 다양한 LLM 워크로드에 적합한 확장 가능하고 비용 최적화된 AI 슈퍼컴퓨터 아키텍처를 개발한다.

제안 방법

• 수천 개의 반복된 칩렛 가속기 모듈이 병렬로 토큰 생성을 수행하도록 칩렛 기반 ASIC 아키텍처를 설계한다.
• 모든 모델 파라미터를 개별 칩렛의 온칩 SRAM에 저장하여 외부 메모리 대역폭 제약을 제거한다. 이는 대규모 LLM 추론에서 핵심적인 성능 장벽이다.
• 하드웨어-소프트웨어 공동 설계를 통해 칩렛 간 모델 계산을 매핑하여 병렬성을 활용하고, 칩 간 통신 오버헤드를 완화한다.
• 하드웨어-소프트웨어 설계 공간을 종합적으로 탐색하는 설계 철학을 구현하여, 모든 유효한 구성에서 성능-비용 트레이드오프 분석을 생성한다.
• 파레토 최적 경계 분석을 적용하여, 여러 LLM과 컨텍스트 길이에 걸쳐 토큰당 총소유비용(TCO)을 최소화하는 최적의 시스템 설계를 식별한다.
• Lambda와 Google Cloud의 현실적인 비용 모델을 사용하여, 다양한 크기와 컨텍스트 길이를 가진 네 가지 실제 LLM(GPT-3, PaLM 540B 등)에서 아키텍처를 평가한다.

Figure 1 . Compared to A100 GPU and TPUv4, Chiplet Cloud can achieve up to $94\times$ and $15\times$ improvement in TCO/Token on GPT-3 and PaLM 540B, respectively.

실험 결과

연구 질문

• RQ1 기존 GPU 및 TPU 플랫폼에 비해 칩렛 기반 ASIC 아키텍처가 대규모 생성형 언어 모델을 서비스할 때 훨씬 낮은 토큰당 총소유비용(TCO)을 달성할 수 있는가?
• RQ2 모든 모델 파라미터를 온칩 SRAM에 저장함으로써 대규모 LLM 추론에서 메모리 대역폭 장벽을 어떻게 제거할 수 있는가?
• RQ3 확장 가능한 AI 슈퍼컴퓨터 설계에서 칩렛 다이 크기, 칩 간 통신, 시스템 비용 간 최적의 트레이드오프는 무엇인가?
• RQ4 단일 일반 칩렛 클라우드 서버가 최소한의 성능 손실로 여러 LLM과 다양한 컨텍스트 길이를 효율적으로 지원할 수 있는가?
• RQ5 소프트웨어 인식 하드웨어 매핑이 대규모 병렬 칩렛 아키텍처에서 시스템 효율성 향상과 TCO 감소에 얼마나 기여하는가?

주요 결과

• Chiplet Cloud는 GPT-3와 PaLM 540B를 서비스할 때 A100 GPU 클라우드 대비 최대 94.4배, TPUv4 클라우드 대비 15.2배 높은 토큰당 총소유비용(TCO) 향상을 달성한다.
• 모든 모델 파라미터를 온칩 SRAM에 저장함으로써 외부 메모리 대역폭이 성능 장벽이 되는 것을 제거하여, 낮은 비용으로도 고처리량을 달성할 수 있다.
• 설계 철학은 하드웨어-소프트웨어 설계 공간 전반에서 파레토 최적 구성(configuration)을 성공적으로 식별하여 정확한 성능-비용 트레이드오프 분석을 가능하게 했다.
• 단일 일반 칩렛 클라우드 서버는 복수의 모델과 컨텍스트 길이를 지원할 때 각각 최적화된 서버 대비 9%와 12%의 성능 손실을 기록하며도, 토큰당 총소유비용(TCO)의 집합적 성능에 영향을 최소화한다.
• 칩렛를 통해 다이 크기를 조절함으로써 시스템 비용과 에너지 소비를 감소시키면서도, 지능적인 소프트웨어 매핑을 통해 높은 계산 효율성을 유지한다.
• 결과적으로 칩렛 기반 ASIC가 인프라 비용과 운영 비용을 극적으로 낮추어, LLM의 행성 규모 배포를 가능하게 할 수 있음을 입증한다.

Figure 2 . A generative language model is constructed of multiple decoder layers with the same architecture. It generates outputs in an autoreggressive fashion. FC layers often dominate the computation.