[논문 리뷰] Great Power, Great Responsibility: Recommendations for Reducing Energy for Training Language Models

J.C. McDonald, Baolin Li외 4명|arXiv (Cornell University)|2022. 05. 19.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 데이터센터에서의 파wr 캡핑과 에너지 인지 스케줄링에 초점을 맞춰 대규모 언어 모델 학습 및 추론을 위한 에너지 절감 기법을 제안한다. 파워 캡핑을 통해 학습 시간에 거의 영향을 주지 않은 채 에너지 소비를 15% 감소시킬 수 있음을 입증하며, 모델 정확도나 성능에 영향을 주지 않는 실용적이고 비침습적인 방법을 제공하여 NLP 워크로드의 탄소 발자국을 낮춘다.

ABSTRACT

The energy requirements of current natural language processing models continue to grow at a rapid, unsustainable pace. Recent works highlighting this problem conclude there is an urgent need for methods that reduce the energy needs of NLP and machine learning more broadly. In this article, we investigate techniques that can be used to reduce the energy consumption of common NLP applications. In particular, we focus on techniques to measure energy usage and different hardware and datacenter-oriented settings that can be tuned to reduce energy consumption for training and inference for language models. We characterize the impact of these settings on metrics such as computational performance and energy consumption through experiments conducted on a high performance computing system as well as popular cloud computing platforms. These techniques can lead to significant reduction in energy consumption when training language models or their use for inference. For example, power-capping, which limits the maximum power a GPU can consume, can enable a 15\% decrease in energy usage with marginal increase in overall computation time when training a transformer-based language model.

연구 동기 및 목표

• 대규모 언어 모델의 NLP 및 머신러닝 분야에서 급격히 증가하는 에너지 소비 문제를 해결하기 위함.
• 모델 정확도에 영향을 주지 않고 학습 및 추론 중 에너지 소비를 줄일 수 있는 실용적이고 비침습적인 기법을 특정하기 위함.
• NLP 연구 공동체 내에서 환경 영향과 에너지 효율성에 대한 인식 제고 및 대응을 유도하기 위함.
• 하드웨어 및 데이터센터 설정에 따라 조정 가능한 측정 가능한 방법을 제공하여 AI 워크로드의 에너지 소비를 줄이기 위함.
• 에너지 효율성을 연구 관행에 통합할 것을 주장하며, 에너지 소비 보고 및 하이퍼파라미터 최적화 최적화를 포함함.

제안 방법

• 학습 중 GPU의 최대 전력 소비를 제한하기 위해 파워 캡핑을 적용하여 모델 가중치나 성능을 변경하지 않은 채 에너지 소비를 줄임.
• 냉각 및 전력 수요가 낮은 저사용 시간대에 실험을 실행하기 위해 에너지 인지 스케줄링을 활용함.
• 에너지 소비와 성능 간의 트레이드오프를 평가하기 위해 고성능 컴퓨팅 클러스터와 클라우드 플랫폼에서 실험을 수행함.
• 실시간 모니터링을 통해 에너지 소비를 측정하고 보고하며, 환경 영향을 최소화하기 위해 탄소 무연 전원을 우선적으로 고려함.
• 하드웨어 구성, 데이터센터 PUE(Power Usage Effectiveness), 시스템 부하가 에너지 효율성에 미치는 영향을 평가함.
• 투명성과 책임성을 지원하기 위해 에너지 소비 추적 및 보고를 위한 프레임워크를 제안함.

실험 결과

연구 질문

• RQ1 어떻게 파워 캡핑을 효과적으로 적용하여 트랜스포머 기반 언어 모델 학습 중 GPU 에너지 소비를 줄일 수 있는가?
• RQ2 NLP 워크로드에 파워 캡핑을 적용할 경우 에너지 절감과 학습 시간 간의 트레이드오프는 어떠한가?
• RQ3 데이터센터 특성, 예를 들어 PUE와 냉각 효율성은 AI 학습의 총 에너지 소비에 어떤 영향을 미치는가?
• RQ4 모델 성능에 영향을 주지 않고 에너지 인지 스케줄링을 통해 총 에너지 소비를 얼마나 줄일 수 있는가?
• RQ5 NLP 모델 개발의 환경적 영향을 줄이기 위해 연구 관행에서 어떤 체계적 변화가 필요한가?

주요 결과

• 파워 캡핑을 통해 트랜스포머 기반 언어 모델 학습 중 에너지 소비를 최대 15% 감소시킬 수 있었으며, 학습 시간은 거의 증가하지 않았다.
• 동일한 모델 아키텍처와 하이퍼파라미터 설정에서도 다양한 파워 캡핑 설정에서도 동일한 가중치와 성능가 도달하여 정확도에 영향을 주지 않음을 확인함.
• 파워 캡핑을 에너지 인지 스케줄링과 조합할 경우, 특히 탄소 무연 전원을 사용하는 저사용 시간대에 에너지 절감 효과가 크게 증폭됨.
• 본 연구의 실험에서 총 에너지 소비는 782kWh였으며, 이 중 760kWh는 수력 전력으로 구동된 HPC 클러스터에서 소비되어 탄소 배출를 최소화함.
• 데이터센터 전력 효율성(PUE)과 냉각 부하가 총 에너지 소비에 측정 가능한 영향을 미치며, 연구 기획 시 인프라 인식의 중요성을 강조함.
• 모델 아키텍처나 학습 알고리즘을 수정하지 않고도 시스템 수준의 튜닝을 통해 에너지 절감이 가능함을 입증함.