[논문 리뷰] EcoServe: Designing Carbon-Aware AI Inference Systems

Yueying, Zhanqiu Hu외 4명|ArXiv.org|2025. 02. 07.

Big Data and Business Intelligence인용 수 3

한 줄 요약

EcoServe는 LLM 추론에서 운용 탄소와 구현 탄소를 모두 최적화하기 위한 네 기둥의 탄소 인식 프레임워크(Reuse, Rightsize, Reduce, Recycle)를 제시하며, 작은 성능 손해와 함께 최대 47%의 탄소 감소를 달성합니다.

ABSTRACT

The rapid increase in LLM ubiquity and scale levies unprecedented demands on computing infrastructure. These demands not only incur large compute and memory resources but also significant energy, yielding large operational and embodied carbon emissions. In this work, we present three main observations based on modeling and traces from the production deployment of two Generative AI services in a major cloud service provider. First, while GPUs dominate operational carbon, host processing systems (e.g., CPUs, memory, storage) dominate embodied carbon. Second, offline, batch inference accounts for a significant portion (up to 55\%) of serving capacity. Third, there are different levels of heterogeneity across hardware and workloads for LLM inference. Based on these observations, we design EcoServe, a carbon-aware resource provision and scheduling framework for LLM serving systems. It is based on four principles - Reduce, Reuse, Rightsize, and Recycle (4R). With a cross-stack ILP formulation and design, we demonstrate that EcoServe can lower carbon emissions by up to 47\%, compared to performance, energy, and cost-optimized design points, while maintaining performance targets and SLOs.

연구 동기 및 목표

• AI 추론 시스템에서 운용 탄소와 구현 탄소를 모두 다루어야 할 필요성을 제시한다.
• 호스트 시스템과 GPU를 포함하는 탄소 배출의 전체적 모델을 개발한다.
• SLO와 성능을 유지하면서 탄소를 최적화하기 위한 EcoServe의 네 가지 설계 기둥을 제안한다.
• 용량 계획, 자원 할당, 스케줄링 간의 공설계를 통해 탄소를 감소시키는 방법을 시연한다.
• 오픈 소스 및 생산 추적에서의 탄소 감소를 정량화한다.

제안 방법

• 호스트 CPU, 메모리, 저장장치, PCB 및 GPU 구성요소를 포함하는 AI 시스템의 구현 탄소 모델을 개발한다.
• 전력, 시간, 탄소 강도의 함수로 총 탄소를 특성화하며 운용 및 구현 배출을 모두 포함한다.
• EcoServe의 네 가지 설계 기둥(Reuse, Rightsize, Reduce, Recycle)을 제안하고 성능, 효율성 및 탄소를 동시 최적화하기 위한 ILP를 형식화한다.
• 오프라인 추론을 위한 CPU 재사용을 통해 용량을 증가시키고 구현 탄소를 줄이는 것을 보여준다.
• 작업 부하 특성과 탄소 효율성에 따라 온라인/오프라인 단계에 맞춰 이기종 GPU를 적정 크기로 조정한다.
• 낭비되는 하드웨어를 줄이고 호스트 및 가속기의 구성요소를 비대칭적으로 재활용하는 전략을 제시한다.

Figure 1 : (Left) Breakdown of power (TDP) and embodied carbon between host systems (CPU) and GPU. (Right) EcoServe optimizes operational and embodied carbon based on input hardware, model, and workload traces by reusing CPU for offline inference, rightsizing GPUs, reducing underutilized hardware, a

실험 결과

연구 질문

• RQ1 운용 탄소와 구현 탄소가 AI 추론 시스템의 총 탄소 발자국에 어떻게 기여하는가?
• RQ2 크로스 계층 탄소 인식 설계(Reuse, Rightsize, Reduce, Recycle)가 SLO를 희생하지 않으면서 배출을 줄일 수 있는가?
• RQ3 오프라인 추론을 위한 CPU 재사용이 용량과 구현 탄소에 미치는 영향은 무엇인가?
• RQ4 다른 LLM 단계(prompt vs decode)에 대해 에너지, 탄소, 성능을 최적화하도록 이기종 GPU를 어떻게 프로비저닝해야 하는가?
• RQ5 총 탄소를 최소화하기 위해 하드웨어 재활용과 수명 연장을 어떻게 균형 있게 적용하는가?

주요 결과

• EcoServe는 최적화된 기준선에 비해 최대 47%의 탄소 배출을 낮출 수 있으며 성능 목표와 SLO를 유지한다.
• 오프라인 추론을 위해 비활성화된 CPU 자원을 재사용하면 클러스터 용량이 증가하고 미활용 호스트 구성요소를 활용하여 구현 탄소를 줄인다.
• 이기종 하드웨어를 대상으로 GPU를 적정 크기로 조정하고 오프라인/온라인 단계를 고려하면 에너지, 탄소 및 성능 효율성에서 주목할 만한 이득이 있다.
• 더 lean한 하드웨어와 효과적으로 호스트 시스템을 재활용함으로써 구현 탄소의 낭비를 줄이면 각 기둥별로 29%에서 41%의 탄소 절감을 달성할 수 있다(Reuse, Rightsize, Reduce, Recycle).
• 작업 슬라이스(프롬프트 vs 디코드)와 하드웨어 간의 ILP 기반 공동 최적화는 최소한의 성능 저하로 1.4배~2.2배의 탄소 혜택을 가져온다.

Figure 2 : Trends in bit density (left) and embodied carbon footprint (right) across varoius DRAM memory technologies for 3 different manufacturers.