[논문 리뷰] Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model

Alexandra Sasha Luccioni, Sylvain Viguier외 1명|arXiv (Cornell University)|2022. 11. 03.

Green IT and Sustainability인용 수 188

한 줄 요약

논문은 BLOOM의 수명 주기 탄소 배출량을 포함 포함 배출, 동적, 유휴, 배포 배출을 추정하고 BLOOM을 다른 LLM과 비교합니다.

ABSTRACT

Progress in machine learning (ML) comes with a cost to the environment, given that training ML models requires significant computational resources, energy and materials. In the present article, we aim to quantify the carbon footprint of BLOOM, a 176-billion parameter language model, across its life cycle. We estimate that BLOOM's final training emitted approximately 24.7 tonnes of~\carboneq~if we consider only the dynamic power consumption, and 50.5 tonnes if we account for all processes ranging from equipment manufacturing to energy-based operational consumption. We also study the energy requirements and carbon emissions of its deployment for inference via an API endpoint receiving user queries in real-time. We conclude with a discussion regarding the difficulty of precisely estimating the carbon footprint of ML models and future research directions that can contribute towards improving carbon emissions reporting.

연구 동기 및 목표

• BLOOM의 전체 탄소 발자국을 수명 주기 전반에 걸쳐 정량화한다.
• 포함 배출, 동적, 유휴(무활성), 배포 구성요소로 배출을 분해한다.
• 환경 영향의 맥락화를 위해 BLOOM의 배출량을 다른 대형 언어 모델과 비교한다.
• 한계, 방법론적 선택 및 투명한 보고를 위한 방향을 논의한다.

제안 방법

• 제조에서 배포 단계까지를 중점으로 한 전과정 평가(LCA) 프레임워크를 채택한다.
• 외부 발자국 추정치와 6년 교체 가정을 이용해 서버와 GPU의 포함 배출을 계산한다.
• GPU-시간 수, GPU TDP, 그리고 그리드 탄소 강도를 사용해 동적 배출을 추정한다.
• 학습 비포함 에너지를 배분하기 위해 클러스터 전력 사용 실험을 통해 유휴 소비를 측정한다.
• 실시간 API 시나리오와 CodeCarbon 도구를 사용해 배포/추론 배출을 분석한다.
• 연구들 간의 방법론 차이를 주목하며 모델 간 비교를 제공한다.

실험 결과

연구 질문

• RQ1 BLOOM의 수명 주기 전반에 걸친 총 온실 가스 배출량(포함, 동적, 유휴, 배포)이 무엇인가?
• RQ2 유사 수명 주기 회계 하에서 BLOOM의 배출량을 다른 176B+ 매개변수 LLM과 비교하면 어떠한가?
• RQ3 BLOOM의 탄소 발자국의 주요 기여 요인은 무엇이며 추정치의 방법 선택에 얼마나 민감한가?
• RQ4 ML 탄소 회계의 보고 관행 및 향후 연구를 위한 시사점은 무엇인가?

주요 결과

• 총 BLOOM 배출량: 수명 주기 전체(포함 + 동적 + 유휴) 약 50.5톤 CO2eq.
• 동적 에너지는 24.69톤 CO2eq(전체의 약 48.9%), 유휴는 14.6톤(28.9%), 포함은 11.2톤(22.2%)를 차지한다.
• BLOOM 훈련은 Nvidia A100 GPU에서 1,082,990 GPU 시간, 57 gCO2eq/kWh의 그리드 강도로 에너지 사용량 433 MWh를 산출했다.
• GPT-3 및 Gopher와 비교하면 BLOOM은 낮은 배출을 보이며 주로 더 낮은 그리드 탄소 강도(57 gCO2eq/kWh)와 유사한 에너지 사용 때문이며, OPT의 경우 다른 회계 방식으로 인한 보고 배출이 더 높은 것으로 나타난다(PUE 고려사항은 논의됨).
• 배포/추론 배출은 GCP에서의 실시간 API 배포를 통해 추정되었으며 요청 간 유휴 시 에너지 사용 및 지역별 그리드 강도를 강조한다.