[論文レビュー] A Survey on Hardware Accelerators for Large Language Models

Christoforos Kachris|arXiv (Cornell University)|Jan 18, 2024

Topic Modeling被引用数 4

ひとこと要約

本サーベイは、大規模言語モデル（LLMs）向けハードウェアアクセラレータについて包括的な分析を提供しており、GPU、FPGA、ASIC、メモリ内コンピューティングアーキテクチャを評価している。ASICおよびメモリ内アクセラレータは、CPUに比べて最大347倍の高速化と4桁のエネルギー効率の向上を達成している一方、FPGAは低コストで迅速な展開が可能な実用的かつ再構成可能な代替手段を提供し、依然として顕著な性能向上を実現している。

ABSTRACT

Large Language Models (LLMs) have emerged as powerful tools for natural language processing tasks, revolutionizing the field with their ability to understand and generate human-like text. As the demand for more sophisticated LLMs continues to grow, there is a pressing need to address the computational challenges associated with their scale and complexity. This paper presents a comprehensive survey on hardware accelerators designed to enhance the performance and energy efficiency of Large Language Models. By examining a diverse range of accelerators, including GPUs, FPGAs, and custom-designed architectures, we explore the landscape of hardware solutions tailored to meet the unique computational demands of LLMs. The survey encompasses an in-depth analysis of architecture, performance metrics, and energy efficiency considerations, providing valuable insights for researchers, engineers, and decision-makers aiming to optimize the deployment of LLMs in real-world applications.

研究の動機と目的

• データセンターにおける、ますます巨大で複雑化するLLMsに伴う計算およびエネルギー需要の増大に対処する。
• 変換器における計算負荷が最も高い演算（例えば、行列乗算）に特化したハードウェアアクセラレータを体系的に評価する。
• GPU、FPGA、ASIC、メモリ内アーキテクチャを含む多様なプラットフォームにおける、パフォーマンス、スピードアップ、エネルギー効率の比較分析を提供する。
• 実際の展開環境において、カスタムアクセラレータ（例：ASIC）と再構成可能なプラットフォーム（例：FPGA）の間のトレードオフを特定する。
• パフォーマンス、コスト、エネルギー効率に基づき、研究者およびエンジニアが効率的なLLM展開のための最適なハードウェアソリューションを選定できるようにガイドする。

提案手法

• 変換器ベースのモデルを対象とした、LLM用ハードウェアアクセラレータに関する240件以上の研究論文を包括的にサーベイする。
• 技術分類（GPU、FPGA、ASIC、メモリ内）に基づいてアクセラレータを分類し、スピードアップ、エネルギー効率、実装可能性の観点から評価する。
• 物理的実装がなくても、サイクル単位の正確なシミュレーションおよび電力推定ツール（例：CACTI）を用いて、ASICおよびメモリ内設計を評価する。
• CPUやGPUなどの多様な基準プラットフォームと比較して相対的パフォーマンスを評価するが、基準構成のばらつきに注意を払う。
• スパarsity、量子化、低精度計算といったアルゴリズム最適化をアクセラレータ設計に統合し、効率性を向上させる手法を分析する。
• MNNFastなどの主要フレームワークのCPU、GPU、FPGAにおけるマルチプラットフォーム実装を評価し、クロスプラットフォームの一貫性と移植性を示す。

実験結果

リサーチクエスチョン

• RQ1 GPU、FPGA、ASIC、メモリ内コンピューティングアクセラレータには、LLM推論においてどのような主要なアーキテクチャ的・パフォーマンス的差異があるか？
• RQ2 一般用途のCPUやGPUに比べて、ハードウェアアクセラレータは、変換器ベースのLLMにおいてどのようにスピードアップとエネルギー効率を向上させるか？
• RQ3 LLMの高速化において、高いパフォーマンスと高いコストを特徴とするカスタムASICと、やや低いパフォーマンスだが迅速な展開が可能な再構成可能なFPGAとの間には、どのようなトレードオフがあるか？
• RQ4 アルゴリズム最適化（例：スパarsity、量子化）は、ハードウェアアクセラレータでどれほどエネルギー効率の向上に活用可能か？
• RQ5 NVMおよびメルチスティャーを用いたメモリ内コンピューティングといった新技術のLLM加速における、実用的制限要因および商業化の障壁は何か？

主な発見

• ASICベースのアクセラレータは、CPU基準プラットフォームに対して最大347倍のスピードアップを達成しており、SpAttenが報告された最高のスピードアップを記録している。
• メモリ内コンピューティングアクセラレータは、CPUに比べて最大200倍のスピードアップと4桁のエネルギー効率の向上を達成しており、MNNFastはクロスプラットフォームの一貫性を示している。
• FPGAベースのアクセラレータ（例：FTrans）は最大81倍のスピードアップを実現し、低コストで迅速な展開が可能な実用的かつ再構成可能な代替手段を提供している。
• ASICおよびメモリ内アクセラレータは、CPUに比べてエネルギー消費量を最大4桁、GPU（例：V100）に比べて最大3桁削減しており、炭素排出量と冷却要件を顕著に低減している。
• 高いパフォーマンスを発揮するが、ASICおよびメモリ内ソリューションは長い開発サイクルと高い製造コストのため、広範な採用が制限されている。
• FPGAは、測定可能なスピードアップとエネルギー効率の向上を提供する一方で、迅速なプロトタイピングと既存のデータセンターアーキテクチャへの統合を可能にする、実用的な中間地点を提供している。