[論文レビュー] Memory Is All You Need: An Overview of Compute-in-Memory Architectures for Accelerating Large Language Model Inference

Christopher A. Wolters, Xiaoxuan Yang+2 more|arXiv (Cornell University)|Jun 12, 2024

Topic Modeling被引用数 9

ひとこと要約

本論文は、計算内蔵(CIM)アーキテクチャを調査し、大規模言語モデルの推論を加速するため、トランスフォーマーのワークロード、メモリのボトルネック、およびハードウェア・ソフトウェア協調設計の課題を分析します。

ABSTRACT

Large language models (LLMs) have recently transformed natural language processing, enabling machines to generate human-like text and engage in meaningful conversations. This development necessitates speed, efficiency, and accessibility in LLM inference as the computational and memory requirements of these systems grow exponentially. Meanwhile, advancements in computing and memory capabilities are lagging behind, exacerbated by the discontinuation of Moore's law. With LLMs exceeding the capacity of single GPUs, they require complex, expert-level configurations for parallel processing. Memory accesses become significantly more expensive than computation, posing a challenge for efficient scaling, known as the memory wall. Here, compute-in-memory (CIM) technologies offer a promising solution for accelerating AI inference by directly performing analog computations in memory, potentially reducing latency and power consumption. By closely integrating memory and compute elements, CIM eliminates the von Neumann bottleneck, reducing data movement and improving energy efficiency. This survey paper provides an overview and analysis of transformer-based models, reviewing various CIM architectures and exploring how they can address the imminent challenges of modern AI computing systems. We discuss transformer-related operators and their hardware acceleration schemes and highlight challenges, trends, and insights in corresponding CIM designs.

研究の動機と目的

• LLM推論におけるメモリウォール問題と、それがレイテンシーとエネルギー消費に与える影響を強調する。
• トランスフォーマーべースのモデルと、CIM加速に適した主要な計算カーネルをレビューする。
• CIM技術（CMOSおよび新興NVM）を分析し、それらがトランスフォーマーワークロードに適しているかを評価する。
• LLM推論におけるCIMの設計・信頼性・システムレベルの課題を特定し、今後の研究の方向性を提案する。

提案手法

• トランスフォーマーアーキテクチャとコア演算（MVM、attention）の説明と、それらのハードウェア加速への影響。
• CIMアレイの動作を説明し、アナログMACがメモリの伝導度とキルヒホッフの法則を用いて行列-ベクトル積を実現する方法を説明する。
• メモリ技術（SRAM、ReRAM、PCM、FeFET、MRAM）を比較し、CIMにおけるトレードオフを検討する。
• アナログの非理想性、周辺回路のオーバーヘッド（ADCなど）、精度の限界、耐久性といったCIM設計上の課題を議論する。
• LLM推論をCIMハードウェアにマッピングする際のハードウェア–ソフトウェア協調設計の検討を評価する。
• 設計指針と将来のCIMベースLLMアクセラレータへの潜在的な道筋を統合する。

Figure 1: Model size of state-of-the-art LLMs [ 7 ]

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤のLLM推論において、計算内蔵はデータ移動のボトルネックをどのように低減できるか？
• RQ2 現実的な制約の下で、どのCIMアーキテクチャとメモリ技術がトランスフォーマーワークロードを最も効果的に加速できるか？
• RQ3 LLMsのCIMにおける主要な信頼性・精度・周辺オーバーヘッドの課題は何で、それらをどう緩和できるか？
• RQ4 ハードウェア–ソフトウェア協調設計がLLM推論のCIMの有効性にどのように影響するか？

主な発見

• CIMはデータ移動を削減し、メモリ内で直接MACを実行することでレイテンシとエネルギー効率を改善する可能性がある。
• 新興の不揮発性メモリ（NVM）は高密度と低リークを提供し、特に大規模な行列においてLLMsのCIMに魅力的である。
• アナログCIMはデバイスの非理想性、ドリフト、読み出しノイズ、耐久性といった課題に直面し、精度に影響を与え、緩和戦略を必要とする。
• 周辺オーバーヘッド、特にADCが面積と電力を支配することがあり、精度とソフトウェアを意識した最適化が必要となる。
• トランスフォーマーは動的な重み演算（クエリ/キー/バリュー）を導入し、クロスバー型CIMワークロードを複雑化させるため、慎重な設計・分割が必要である。
• 全体のシステムレベルの利得は、精度、レイテンシ、エネルギーのバランスを取るためのクロスバーのサイズ、精度、協調設計の選択に依存する。

Figure 2: The transformer model architecture [ 4 ]