[논문 리뷰] Power Hungry Processing: Watts Driving the Cost of AI Deployment?

Alexandra Sasha Luccioni, Yacine Jernite외 1명|arXiv (Cornell University)|2023. 11. 28.

Machine Learning and Data Classification참고 문헌 45인용 수 27

한 줄 요약

논문은 작업 특화 모델과 다목적 ML 모델 간 추론 에너지와 탄소를 체계적으로 비교하고, 다목적 생성 시스템이 작업 특화 모델보다 1,000회의 추론당 에너지 소모가 훨씬 크며, 작업과 모달리티 전반에 걸쳐 차이가 큼을 보여준다.

ABSTRACT

Recent years have seen a surge in the popularity of commercial AI products based on generative, multi-purpose AI systems promising a unified approach to building machine learning (ML) models into technology. However, this ambition of ``generality'' comes at a steep cost to the environment, given the amount of energy these systems require and the amount of carbon that they emit. In this work, we propose the first systematic comparison of the ongoing inference cost of various categories of ML systems, covering both task-specific (i.e. finetuned models that carry out a single task) and `general-purpose' models, (i.e. those trained for multiple tasks). We measure deployment cost as the amount of energy and carbon required to perform 1,000 inferences on representative benchmark dataset using these models. We find that multi-purpose, generative architectures are orders of magnitude more expensive than task-specific systems for a variety of tasks, even when controlling for the number of model parameters. We conclude with a discussion around the current trend of deploying multi-purpose generative ML systems, and caution that their utility should be more intentionally weighed against increased costs in terms of energy and emissions. All the data from our study can be accessed via an interactive demo to carry out further exploration and analysis.

연구 동기 및 목표

• 다양한 작업과 모달리티 전반에서 ML 모델 추론의 에너지 및 탄소 배출을 평가합니다.
• 배포 환경에서 작업 특화 모델과 다목적 모델을 비교합니다.
• 모델 규모, 아키텍처, 작업 유형이 추론 에너지 및 배출에 어떤 영향을 미치는지 정량화합니다.
• 배포 중 정확도-효율성 트레이드오프 및 정책 시사점에 대해 실무자에게 지침을 제공합니다.

제안 방법

• 배포 사용 사례를 대표하는 5개 모달리티의 10개 작업과 30개 데이터세트를 선택합니다.
• AWS us-west-2 고정 지역에서 NVIDIA A100-SXM4-80GB GPU를 사용하여 Code Carbon으로 1,000회의 추론당 에너지 및 CO2 배출량을 측정합니다.
• 배치 없이 각 추론 세트를 10회 실행하여 배치처리 변화성을 반영합니다.
• 선정된 작업에서 작업 특화 모델과 다목적 제로샷 모델(Flan-T5 및 BLOOMz 계열)을 비교합니다.
• 모델 크기, 작업 유형, 배출 간의 관계를 분석하고 사용 가능한 학습/미세조정 데이터를 사용하여 학습 대 추론 비용의 동등성 여부를 검토합니다.

Figure 1. The tasks examined in our study and the average quantity of carbon emissions they produced (in g of $CO_{2}$ ) for 1,000 queries. N.B. The y axis is in logarithmic scale.

실험 결과

연구 질문

• RQ1 대표적인 NLP 및 CV 작업에 대해 서로 다른 ML 모델을 배포할 때 1,000회의 추론당 에너지 및 탄소 비용은 얼마입니까?
• RQ2 작업 특화 모델과 다목적 모델은 작업과 모달리티 전반에서 배출 측면에서 어떻게 비교됩니까?
• RQ3 모델 크기와 아키텍처가 작업 특화 대 다목적 범주 내에서 에너지 사용 및 배출에 어떤 영향을 미칩니까?
• RQ4 대표 모델에 대해 추론 비용이 학습 비용과 같아지는 시점은 언제입니까?

주요 결과

• 추론 에너지 및 CO2 배출은 작업과 모달리티 전반에서 최대 세 자릿수 차이로 나타난다.
• 작업 특화 모델은 일반적으로 1,000회의 추론당 CO2 배출량이 다목적 모델보다 훨씬 작다, 특히 판별/생성 작업에서 그렇다.
• 텍스트-대-이미지 및 이미지 생성 작업은 가장 에너지 및 탄소 집약적이며, 텍스트 기반 작업은 상대적으로 효율적이다.
• 다목적 모델 내에서 시퀀스-투-시퀀스 아키텍처는 유사한 크기의 디코더-전용 모델보다 에너지 효율적일 때가 많다.
• 더 큰 모델 크기는 일반적으로 배출을 증가시키지만, 아키텍처(seq2seq vs. decoder)와 작업 출력 길이가 총 배출에 상당한 영향을 미친다.

Figure 2. The 5 modalities examined in our study, with the number of parameters of each model on the x axis and the average amount of carbon emitted for 1000 inferences on the y axis. NB: Both axes are in logarithmic scale.