[論文レビュー] The Unseen AI Disruptions for Power Grids: LLM-Induced Transients

Yuzhuo Li, Mariam Mughees+2 more|arXiv (Cornell University)|Sep 9, 2024

Smart Grid Security and Resilience被引用数 5

ひとこと要約

本論文は、AIワークロード、特にLLMsが急速で非常に瞬時的な電力需要を引き起こす様子を分析し、電力網とデータセンターへの影響を評価するためのモデリング手法を検討している。

ABSTRACT

Recent breakthroughs of large language models (LLMs) have exhibited superior capability across major industries and stimulated multi-hundred-billion-dollar investment in AI-centric data centers in the next 3-5 years. This, in turn, bring the increasing concerns on sustainability and AI-related energy usage. However, there is a largely overlooked issue as challenging and critical as AI model and infrastructure efficiency: the disruptive dynamic power consumption behaviour. With fast, transient dynamics, AI infrastructure features ultra-low inertia, sharp power surge and dip, and a significant peak-idle power ratio. The power scale covers from several hundred watts to megawatts, even to gigawatts. These never-seen-before characteristics make AI a very unique load and pose threats to the power grid reliability and resilience. To reveal this hidden problem, this paper examines the scale of AI power consumption, analyzes AI transient behaviour in various scenarios, develops high-level mathematical models to depict AI workload behaviour and discusses the multifaceted challenges and opportunities they potentially bring to existing power grids. Observing the rapidly evolving machine learning (ML) and AI technologies, this work emphasizes the critical need for interdisciplinary approaches to ensure reliable and sustainable AI infrastructure development, and provides a starting point for researchers and practitioners to tackle such challenges.

研究の動機と目的

• AIワークロード、特にLLMsの固有の電力とエネルギー動作を、電力網への潜在的な障害として明らかにする。
• AI中心のデータセンターにおける過渡的電力挙動を記述する高レベルの数学モデルを開発する。
• トレーニング、ファインチューニング、推論といったケーススタディを分析し、過渡的電力現象と電网への影響を示す。
• AI時代におけるグリッド信頼性、データセンター設計、学際的計画の課題と機会を検討する。

提案手法

• AI負荷特性の定性的分析を提供する（高いピーク電力、迅速な動力学、バースト性）。
• P_totalおよびP_AI成分を含むAI中心のデータセンターの高レベルな数学モデルを提案する。
• 過渡現象を捉えるために、dP/dtおよびd2P/dt2項を含む動的電力消費モデルを導入する。
• MIT SupercloudデータとベンチマークLLM設定を用いたケーススタディを適用し、電力プロファイルを示す。
• TDP、GPU利用率、PUE、Peak/Average、Peak/Idle、およびdP/dtなどの指標を定義し、AI負荷を特徴づける。

Figure 1: Reported energy consumption of training different LLM models with respect to model parameters [ 14 , 22 , 23 , 24 , 25 ] . Note the consumption shown here is relatively positioned, not based on accurate numerical calculation. The exact energy consumption can differ dramatically given diffe

実験結果

リサーチクエスチョン

• RQ1 トレーニング、ファインチューニング、推論にわたるAIワークロードの顕著な過渡的電力特性は何か？
• RQ2 AI中心のデータセンターの動的電力挙動とグリッドへの影響を、高レベルの数学モデルはどのように捉えることができるか？
• RQ3 ケーススタディ（例：MIT SupercloudのBERTジョブ、GPT2/nanoGPT設定）が、AI展開のためのグリッドのレジリエンスとデータセンター設計にどのような洞察を提供するか？
• RQ4 大規模AI計算の潜在的なグリッド安定性への影響を最も適切に捉える指標は何か？
• RQ5 電力網の信頼性と持続可能な運用を確保するためのAIインフラの計画・運用にはどのような機会があるか？

主な発見

• AIワークロードは、急速でバースト的な電力消費を示し、ピーク対平均比が高く、配電系統を圧迫するような顕著な過渡を伴う。
• 単純な線形モデルでは不十分であり、本論文は急速なAI電力変化を捉えるために、1次および2次微分を含む動的な高次電力モデルを提案する。
• トレーニングはAIアクセラレータを長時間高利用率へ押し上げ、区間中はほぼ一定の高電力を示す一方、推論は利用率の変動が広い。
• ケーススタディは実システムにおける電力ダイナミクスを示し（例：ピークが約50 kW近くで顕著な変動を伴うBERTジョブ）、堅牢なグリッド適合計画の必要性を浮き彫りにしている。
• 本研究は、AI中心のデータセンターとグリッドインターフェースを分析・設計するためのフレームワークと指標（TDP、GPU利用率、PUE、Peak/Average、Peak/Idle、dP/dt）を提供する。

Figure 2: The schematic topology of an AI server with 8 GPUs.