[논문 리뷰] Characterizing LLM Inference Energy-Performance Tradeoffs across Workloads and GPU Scaling

Paul Joe Maliakel, Shashikant Ilager외 1명|ArXiv.org|2025. 01. 14.

Business Process Modeling and Analysis인용 수 5

한 줄 요약

이 논문은 다양한 NLP 작업에서 다양한 LLM을 벤치마킹하여 추론 중 에너지, 지연, 처리량 및 메모리 트레이드오프를 특성화하고, 하드웨어 DVFS 효과 및 입력 특성을 분석하여 에너지 효율적인 배치를 안내합니다.

ABSTRACT

LLM inference exhibits substantial variability across queries and execution phases, yet inference configurations are often applied uniformly. We present a measurement-driven characterization of workload heterogeneity and energy-performance behavior of LLM inference under GPU dynamic voltage and frequency scaling (DVFS). We evaluate five decoder-only LLMs (1B-32B parameters) across four NLP benchmarks using a controlled offline setup. We show that lightweight semantic features predict inference difficulty better than input length, with 44.5% of queries achieving comparable quality across model sizes. At the hardware level, the decode phase dominates inference time (77-91%) and is largely insensitive to GPU frequency. Consequently, reducing GPU frequency from 2842 MHz to 180 MHz achieves an average of 42% energy savings with only a 1-6% latency increase. We further provide a use case with an upper-bound analysis of the potential benefits of combining workload-aware model selection with phase-aware DVFS, motivating future energy-efficient LLM inference systems.

연구 동기 및 목표

• 모델 크기, 아키텍처, 작업 및 하드웨어 설정이 추론 중 에너지와 지연에 미치는 영향을 이해하여 지속 가능한 AI를 촉진한다.
• 다양한 모델(GPT-2, Falcon-7B, Mistral-7B, GPT-J-6B, GPT-Neo-2.7B, T5-3B)을 다중 작업에 걸쳐 평가하여 에너지-성능 다이내믹스를 매핑한다.
• 입력 특성(시퀀스 길이, 배치 크기)이 에너지, 처리량, 지연에 미치는 영향을 조사한다.
• 하드웨어 수준 DVFS가 LLM 추론 에너지 효율성과 성능에 미치는 영향을 평가하여 실무 최적화 전략을 식별한다.]

제안 방법

• NVIDIA A100 GPU에서 사전 학습된 여섯 모델(T5-3B, GPT-Neo-2.7B, GPT-2, Mistral-7B, Falcon-7B, GPT-J-6B)을 벤치마크한다.
• BLEU, F1, 정확도, 에너지, 처리량 등의 지표를 사용하여 SQuADv2, BoolQ, XSum, HellaSwag, OpenBookQA 및 기타 작업을 평가한다.
• 입력 시퀀스 길이 구간(0-50, 51-100, 101-150, 151-200)과 100개의 작업당 쿼리에 대해 8-너비 배치로 배치 크기 효과를 분석한다.
• DVFS 구성([210, 405, 615, 810, 1005, 1215, 1410] MHz)을 검토하여 지연 및 에너지 트레이드를 측정한다.
• nvidia-smi를 통한 실시간 전력 모니터링 및 통계 분석을 사용하여 통찰을 도출한다.]

실험 결과

연구 질문

• RQ1 다양한 NLP 작업(텍스트 생성, QA, 상식 추론, 요약)이 LLM의 에너지 소비와 성능에 어떤 영향을 미치는가?
• RQ2 입력 특성(시퀀스 길이, 배치 크기)이 추론 중 지연, 처리량, 에너지 효율성에 어떤 영향을 미치는가?
• RQ3 다양한 모델과 작업에 대한 하드웨어 DVFS 설정이 에너지 효율성과 성능에 어떤 영향을 미치는가?

주요 결과

• 작은 모델(GPT-2)은 간단한 작업에서 일관되게 더 적은 에너지를 사용하고 처리량이 더 높아 에너지 제약 상황에 적합하다.
• 대형 중형 모델(Falcon-7B, Mistral-7B)은 성능과 에너지의 균형을 이루며 SQuADv2와 HellaSwag와 같은 복잡한 작업에서 뛰어나지만 GPT-2보다 더 많은 에너지를 소비한다.
• GPT-J-6B와 GPT-Neo-2.7B는 에너지 사용량과 메모리 수요가 높아 많은 작업에서 비효율적임을 보인다.
• GPU 클럭을 높인 DVFS 튜닝(1005–1410 MHz)은 여러 작업에서 런타임 단축으로 전체 에너지를 감소시킨다.
• 입력 시퀀스 길이는 일반적으로 모든 모델의 지연과 에너지를 증가시키며, 큰 모델일수록 더 큰 영향을 받으므로 연장된 맥락에 대한 작업별 모델 선택이 중요하다.
• 배치 크기 증가(최대 8)는 BoolQ 및 SquadV2 작업에서 에너지 효율성을 크게 개선하고 지연을 감소시키므로 배치 최적화가 실용적 수단임을 시사한다.