[논문 리뷰] LLMCO2: Advancing Accurate Carbon Footprint Prediction for LLM Inferences

Zhenxiao Fu, Fan Chen외 3명|arXiv (Cornell University)|2024. 10. 03.

Data Quality and Management인용 수 4

한 줄 요약

LLMCO2는 그래프 신경망(GNN) 기반 모델을 통해 대규모 언어 모델(LLM) 추론의 탄소 배출량을 정확하게 예측한다. 이는 자동회귀적 프리필 및 디코딩 단계를 별도로 모델링하고, 하드웨어 특화 Roofline 성능를 통합하며, 일반적인 추론 설정에 대한 집중적 샘플링을 적용한다. 이로 인해 기존 방법 대비 예측 정확도가 51%~123% 향상되었으며, 최상위 기준 대비 10% 오차에서 오차 경계 정확도(EBA)가 123% 높아졌다.

ABSTRACT

Throughout its lifecycle, a large language model (LLM) generates a substantially larger carbon footprint during inference than training. LLM inference requests vary in batch size, prompt length, and token generation number, while cloud providers employ different GPU types and quantities to meet diverse service-level objectives for accuracy and latency. It is crucial for both users and cloud providers to have a tool that quickly and accurately estimates the carbon impact of LLM inferences based on a combination of inference request and hardware configurations before execution. Estimating the carbon footprint of LLM inferences is more complex than training due to lower and highly variable model FLOPS utilization, rendering previous equation-based models inaccurate. Additionally, existing machine learning (ML) prediction methods either lack accuracy or demand extensive training data, as they inadequately handle the distinct prefill and decode phases, overlook hardware-specific features, and inefficiently sample uncommon inference configurations. We introduce \coo, a graph neural network (GNN)-based model that greatly improves the accuracy of LLM inference carbon footprint predictions compared to previous methods.

연구 동기 및 목표

• LLM 추론의 정확하고 실시간 탄소 배출량 추정 도구의 부족을 해결하기 위해, 변동성이 크고 자동회귀적 특성을 지닌 추론 과정의 복잡성보다 훈련 과정보다 더 복잡한 점을 고려한다.
• 기존의 수식 기반 및 머신러닝 기반 모델이 가지는 한계를 극복하기 위해, 별도의 프리필/디코딩 단계, 하드웨어 특화 기능, 실제 환경 설정 분포를 반영하지 못하는 점을 해결한다.
• 사용자 및 클라우드 제공자가 추론 실행 이전에 지연, 정확도, 탄소 배출량 간의 상호 교환 관계를 평가할 수 있도록 확장 가능하고 정확한 예측 모델을 개발한다.
• 특정 데이터 샘플링 및 그래프 기반 모델링을 통해 다양한 LLM 아키텍처, GPU 유형, 일반적인 추론 설정(예: 작은 배치 크기, 짧은 프롬프트)에 걸쳐 예측 신뢰도를 향상시킨다.

제안 방법

• LLMCO2는 각 트랜스포머 레이어의 커널을 그래프로 표현하는 새로운 그래프 임bedding 기법을 사용한다. 여기서 노드는 커널을, 간선은 데이터 의존성을 나타낸다.
• 프리필 및 디코딩 단계의 고유한 계산 특성을 반영하기 위해 각각 별도의 노드 특성 인코딩을 적용한다.
• GPU 최대 처리량, 메모리 대역폭, 네트워크 대역폭 등의 하드웨어 특화 기능을 Roofline 성능 지표를 통해 통합하여 다양한 GPU 플랫폼 간 일반화 능력을 향상시킨다.
• 일반적인 실세계 설정—작은 배치 크기, 짧은 프롬프트, 제한된 토큰 생성—에 중점을 두어 집중적 데이터 샘플링 전략을 적용함으로써 일반 추론 워크로드에서의 모델 성능을 향상시킨다.
• GNN 기반 회귀 모델은 입력 설정(프롬프트 길이, 배치 크기, 생성된 토큰 수)과 탄소 배출량 간의 관계를 학습하여 추론 시점에서의 신속한 예측을 가능하게 한다.
• 모델은 다양한 LLMs(예: Bloom, Gemma, Mixtral)와 GPUs(예: A100, L4, T4)를 대상으로 한 에너지 측정 데이터의 정제된 데이터셋을 기반으로 훈련되며, 운영 에너지 및 탄소 오버헤드에 중점을 둔다.

Figure 1: A decoder-only LLM’s autoregressive inference consists of prefill and decode phases.

실험 결과

연구 질문

• RQ1 LLM 추론의 탄소 배출량 예측을 위해 프리필 및 디코딩 단계를 별도로 모델링함으로써 어떤 개선이 이루어질 수 있는가?
• RQ2 GPU 처리량 및 메모리 대역폭과 같은 하드웨어 특화 기능이 다양한 GPU 플랫폼 간 예측 정확도에 얼마나 기여하는가?
• RQ3 일반적인 추론 설정에 대한 집중적 샘플링 전략이 실제 워크로드에서의 모델 일반화 및 정확도 향상에 기여하는가?
• RQ4 GNN 기반 접근 방식이 기존의 머신러닝 및 수식 기반 모델 대비 LLM 추론 탄소 배출량 예측에서 어떻게 성능을 냈는가?
• RQ5 배치 크기, 프롬프트 길이, 모델 크기 등 아키텍처 및 설정 다양성이 탄소 배출량 예측 정확도에 어떤 영향을 미치는가?

주요 결과

• LLMCO2는 다양한 LLM 및 GPU 설정에서 기존의 머신러닝 기반 에너지 예측 모델 대비 예측 정확도를 51%~123% 향상시켰다.
• 모든 테스트 모델에서 NNLQP(다음으로 우수한 기준) 대비 10% 오차에서 오차 경계 정확도(EBA)가 123% 높았다.
• 모델의 평균 EBA(10%)는 45.7%에 도달했으며, Bloom의 경우 최대 60%, Qwen2의 경우 53.1%에 이르러 강력한 일반화 능력을 입증했다.
• 프리필 및 디코딩 단계를 별도로 모델링함으로써 통합 단계 접근 방식 대비 EBA(10%)가 67% 향상되어 단계 인식 설계의 중요성을 입증했다.
• 노드 특성으로 Roofline 성능를 통합함으로써 EBA(10%)가 13.1% 향상되어 L4 및 T4와 같은 다양한 GPU 유형 간 지식 전이 능력이 향상되었다.
• 집중적 샘플링 전략이 가장 크게 기여하여 NNLQP 대비 EBA(10%)를 123% 향상시켰으며, 실세계 사용과 일치하는 데이터 분포가 모델 성능 향상에 기여한다는 점을 입증했다.

Figure 2: Comparing the energy of 2 phases in a Bloom-3B inference on an Nvidia L4 GPU.