[論文レビュー] Chiplet Cloud: Building AI Supercomputers for Serving Large Generative Language Models

Huwan Peng, Scott Davidson+3 more|arXiv (Cornell University)|Jul 5, 2023

Ferroelectric and Negative Capacitance Devices被引用数 5

ひとこと要約

Chiplet Cloudは、大規模言語モデルのすべてのパラメータをオンチップSRAMに格納することで帯域幅の制限を解消し、1トークンあたりの総所有コスト（TCO）を画期的に低減するチップレットベースのASIC AIスーパーコンピュータアーキテクチャを提案する。数千のチップレットにわたるハードウェアとソフトウェアの共同最適化により、A100 GPUクラウドやTPUv4クラウドと比較して、それぞれ最大94倍および15倍の低コストTCO/トークンを実現する。

ABSTRACT

Large language models (LLMs) such as OpenAI's ChatGPT and Google's Gemini have demonstrated unprecedented capabilities of autoregressive AI models across multiple tasks triggering disruptive technology innovations around the world. However, as models continue to grow the cost to serve these models also continues to grow threatening the democratization of LLMs. To address this issue, we propose Chiplet Cloud, a chiplet-based ASIC LLM-supercomputer architecture whose goal is to optimize the total cost of ownership (TCO) per generated token. This architecture is a highly parameterizable ASIC and server-level architecture leveraging thousands of replicated accelerator modules collaborating to scale-up the performance of LLMs at cloud-scale. To determine specific parameterizations of the Chiplet Cloud architecture, we implemented a two-phase hardware-software co-design methodology that can search the massive design space and fine tune the architecture across a collection of LLMs based on an accurate inference simulation. A common bottleneck for LLMs is the memory access performance therefore we introduce CC-MEM, a scalable on-chip memory system for Chiplet Cloud architectures. Using the CC-MEM, Chiplet Clouds can be built using only SRAMs for design points where the power and performance of memory access is critical. The CC-MEM also includes a compression decoder module to add support for sparse models without impacting the compute units using a Store-as-Compressed, Load-as-Dense mechanism. We evaluate Chiplet Cloud architectures across eight popular LLMs. Using fine tuned Chiplet Cloud servers we are able to achieve $97 imes$ and $18 imes$ improvement in TCO/Token over rented GPU and TPU clouds, or a $8.3 imes$ and $3.7 imes$ improvement over fabricated GPU and TPU clouds respectively. Chiplet Cloud can also support $1.7 imes$ larger models with a sparsity of 60\%.

研究の動機と目的

• 既存のGPUおよびTPUプラットフォームにおける大規模生成言語モデル（LLMs）の運用に伴う上昇するハードウェアコストとエネルギー非効率性に対処すること。
• モアアの法則の縮小とLLM推論における増大するメモリ帯域幅要件に起因するモノリシックチップのスケーラビリティ制限を克服すること。
• 実世界の応用における大規模LLMへのアクセスを民主化するため、生成されたトークン1つあたりの総所有コスト（TCO）を低減すること。
• さまざまなモデルサイズおよびコンテキスト長をサポートできるスケーラブルでコスト最適化されたAIスーパーコンピュータアーキテクチャの開発

提案手法

• 数千の繰り返し配置されたチップレットアクセラレータモジュールが並列にトークン生成を実行するチップレットベースのASICアーキテクチャを設計する。
• 個々のチップレットのオンチップSRAMにすべてのモデルパラメータを格納することで、外部メモリ帯域幅の制限を排除し、大規模LLM推論における主要なボトルネックを解消する。
• ハードウェアとソフトウェアの共同設計により、チップレット間でのモデル計算のマッピングを実施し、並列処理を活用してチップ間通信のオーバーヘッドを軽減する。
• 包括的な設計手法を採用し、ハードウェアとソフトウェアの設計空間を統合的に探索することで、すべての妥当な構成におけるパフォーマンス-コストトレードオフ分析を生成する。
• パレート最適性の分析を適用し、複数のLLMおよびコンテキスト長にわたるTCO/トークンを最小化する最適なシステム設計を同定する。
• LambdaおよびGoogle Cloudの現実的なコストモデルを用い、GPT-3、PaLM 540Bなど4つの実世界のLLM（さまざまなサイズとコンテキスト長を有する）を対象に、アーキテクチャを評価する。

Figure 1 . Compared to A100 GPU and TPUv4, Chiplet Cloud can achieve up to $94\times$ and $15\times$ improvement in TCO/Token on GPT-3 and PaLM 540B, respectively.

実験結果

リサーチクエスチョン

• RQ1 大規模生成言語モデルの運用において、既存のGPUおよびTPUプラットフォームと比較して、チップレットベースのASICアーキテクチャが顕著に低いTCO/トークンを達成できるか？
• RQ2 すべてのモデルパラメータをオンチップSRAMに格納することで、大規模LLM推論における帯域幅ボトルネックをどのように解消できるか？
• RQ3 スケーラブルなAIスーパーコンピュータ設計において、チップレットダイサイズ、チップ間通信、およびシステムコストの最適なトレードオフは何か？
• RQ4 1つの汎用的なChiplet Cloudサーバー設計が、複数のLLMおよびさまざまなコンテキスト長を最小限のパフォーマンス損失で効率的にサポートできるか？
• RQ5 ソフトウェアに配慮したハードウェアマッピングは、大規模並列チップレットアーキテクチャにおいて、システム効率を向上させ、TCOを低減するのにどの程度効果を発揮するか？

主な発見

• Chiplet Cloudは、GPT-3およびPaLM 540Bの運用において、A100 GPUクラウドと比較して最大94.4倍、TPUv4クラウドと比較して15.2倍のTCO/トークンの改善を達成した。
• すべてのモデルパラメータをオンチップSRAMに格納することで、外部メモリ帯域幅がパフォーマンスボトルネックとして機能しなくなり、低コストで高いスループットを実現できるようになった。
• 設計手法は、ハードウェア-ソフトウェア設計空間全体においてパレート最適な構成を的確に同定でき、パフォーマンス-コストトレードオフ分析を正確に実施できた。
• 1つの汎用的なChiplet Cloudサーバーは、複数のモデルやコンテキスト長をサポートする際、それぞれ9%および12%のパフォーマンス損失にとどまり、個別に最適化されたサーバーと比較して最小限の性能低下にとどまった。
• チップレットによるダイサイズの緩和と、知的なソフトウェアマッピングによる高い計算効率を維持することで、システムコストとエネルギー消費量を低減した。
• 結果として、チップレットベースのASICが、推論の資本的および運用的コストを大幅に削減することで、LLMの惑星規模の展開を可能にすることが実証された。

Figure 2 . A generative language model is constructed of multiple decoder layers with the same architecture. It generates outputs in an autoreggressive fashion. FC layers often dominate the computation.