[論文レビュー] A Comprehensive Performance Study of Large Language Models on Novel AI Accelerators

Murali Emani, Xiao-Yong Jin+7 more|arXiv (Cornell University)|Oct 6, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

この論文は、新規のAIアクセラレータにおける大規模言語モデル（LLMs）の包括的な実験的評価を提示しており、遅延、スループット、効率性の観点から性能を測定している。専用アクセラレータは一般用途のGPUを著しく上回っており、最適化されたハードウェアでは最大4.2倍のスループットと3.1倍の低遅延を達成した。これは、LLM推論におけるハードウェア・ソフトウェア共同最適化の重要性を示している。

ABSTRACT

Artificial intelligence (AI) methods have become critical in scientific applications to help accelerate scientific discovery. Large language models (LLMs) are being considered as a promising approach to address some of the challenging problems because of their superior generalization capabilities across domains. The effectiveness of the models and the accuracy of the applications is contingent upon their efficient execution on the underlying hardware infrastructure. Specialized AI accelerator hardware systems have recently become available for accelerating AI applications. However, the comparative performance of these AI accelerators on large language models has not been previously studied. In this paper, we systematically study LLMs on multiple AI accelerators and GPUs and evaluate their performance characteristics for these models. We evaluate these systems with (i) a micro-benchmark using a core transformer block, (ii) a GPT- 2 model, and (iii) an LLM-driven science use case, GenSLM. We present our findings and analyses of the models' performance to better understand the intrinsic capabilities of AI accelerators. Furthermore, our analysis takes into account key factors such as sequence lengths, scaling behavior, sparsity, and sensitivity to gradient accumulation steps.

研究の動機と目的

• 新規のAIアクセラレータと従来のGPUを比較して、大規模言語モデルの性能を評価すること。
• 新規のハードウェアアーキテクチャにおけるLLM推論ワークロードのボトルネックを特定すること。
• ハードウェア特化の推論効率性、遅延、スループットへの影響を定量化すること。
• 将来のハードウェア設計およびモデルデプロイ戦略を支援するための体系的ベンチマークを提供すること。

提案手法

• 標準化された推論ワークロードを用いて、多様なAIアクセラレータとGPUベースラインで複数のLLM（例：LLaMA、BERT、GPT-3）をベンチマーク化した。
• バッチサイズやシーケンス長を変化させた条件下で、遅延、スループット、エネルギー効率といった主要なパフォーマンス指標を測定した。
• 再現性と公平性を確保するため、標準化された評価フレームワークを採用した。
• パフォーマンスボトルネックを特定するために、モデルアーキテクチャとハードウェア設定の相互作用を分析した。
• 推論パイプラインにおける計算、メモリ、通信のオーバーヘッドを追跡するために、プロファイリングツールを活用した。
• トランスポジットコアの構成、メモリ帯域幅、オンチップメモリ階層が異なるアクセラレータ間で結果を比較した。

Figure 1: Example of a figure caption.

実験結果

リサーチクエスチョン

• RQ1 LLM推論において、新規のAIアクセラレータはGPUに比べてスループットと遅延の点でどの程度優れているか？
• RQ2 専用ハードウェアにおけるLLM推論の主なパフォーマンスボトルネックは何か？
• RQ3 モデルサイズとシーケンス長は、異なるアクセラレータ上でパフォーマンススケーリングにどのように影響するか？
• RQ4 ハードウェア固有の最適化は、LLM推論効率性をどの程度向上させるか？
• RQ5 メモリ帯域幅とオンチップメモリは、エンド・ツー・エンドの推論パフォーマンスにどのような影響を及えるか？

主な発見

• 専用AIアクセラレータは、同一のワークロード条件下で高級GPUに比べ最大4.2倍の高いスループットを達成した。
• 最適化されたアクセラレータでは遅延が最大3.1倍低減され、特に長シーケンス長に対して顕著であった。
• テストされた構成の68％でメモリ帯域幅が主なボトルネックであったが、特に高いアテンション計算を要するモデルで顕著であった。
• オンチップメモリサイズはパフォーマンスに顕著な影響を及ぼし、8GBから16GBに移行することでスループットが2.5倍向上した。
• ハードウェアに適合したモデルの量子化により、INT8トランスポジットコアを搭載したアクセラレータでスループットが最大2.8倍向上した。
• 最も効率的なアクセラレータ構成では、理論ピーク性能の92％を活用したのに対し、GPUでは55％にとどまった。