[논문 리뷰] Watt For What: Rethinking Deep Learning's Energy-Performance Relationship

Shreyank N Gowda, Xinyue Hao외 4명|arXiv (Cornell University)|2023. 10. 10.

Green IT and Sustainability인용 수 4

한 줄 요약

이 논문은 딥러닝의 효율성-정확도 트레이드오프를 재정의하기 위해 새로운 지표인 '소비 전력 단위당 정확도'를 제안한다. 이는 더 작은 에너지 효율 모델이 웨트당 성능에서 큰 모델을 따라하거나 능가할 수 있음을 보여준다. 연구는 사전 훈련과 자기지도 학습이 비용이 많이 들지만 높은 이식성(transferability)을 제공함을 드러내며, 에너지 인식 모델 설계를 통해 지속 가능하고 공정한 AI 개발을 주장한다.

ABSTRACT

Deep learning models have revolutionized various fields, from image recognition to natural language processing, by achieving unprecedented levels of accuracy. However, their increasing energy consumption has raised concerns about their environmental impact, disadvantaging smaller entities in research and exacerbating global energy consumption. In this paper, we explore the trade-off between model accuracy and electricity consumption, proposing a metric that penalizes large consumption of electricity. We conduct a comprehensive study on the electricity consumption of various deep learning models across different GPUs, presenting a detailed analysis of their accuracy-efficiency trade-offs. By evaluating accuracy per unit of electricity consumed, we demonstrate how smaller, more energy-efficient models can significantly expedite research while mitigating environmental concerns. Our results highlight the potential for a more sustainable approach to deep learning, emphasizing the importance of optimizing models for efficiency. This research also contributes to a more equitable research landscape, where smaller entities can compete effectively with larger counterparts. This advocates for the adoption of efficient deep learning practices to reduce electricity consumption, safeguarding the environment for future generations whilst also helping ensure a fairer competitive landscape.

연구 동기 및 목표

• 에너지 집약적인 딥러닝 모델이 초래하는 환경적·경제적 부담을 완화하기 위해.
• 대규모 사전 훈련이 성능 향상에 비해 막대한 전력 소비를 초래하는지 조사하기 위해.
• 에너지 효율적인 모델 설계를 통해 소규모 연구 기관이 대규모 기관과 경쟁할 수 있도록 지원하기 위해.
• 다양한 아키텍처와 작업에서 사전 훈련 및 피니팅의 에너지 비용을 정량화하기 위해.
• 정확도만이 아니라 전력 소비 단위당 정확도로 평가 기준을 전환할 것을 주장하기 위해.

제안 방법

• 다양한 GPU 및 하드웨어 구성에서 딥러닝 모델의 전력 소비를 측정한다.
• 새로운 지표인 '킬로와트시(kWh)당 정확도'를 도입하여 모델의 효율성을 평가한다.
• 이미지 분류, 세그멘테이션, 비디오 동작 인식 작업에서 ResNets, 비전 트랜스포머, Swin, ViT, BEiT, MAE 등 다양한 모델을 평가한다.
• 사전 훈련과 피니팅의 에너지 비용을 별도로 분석하여, 사전 훈련이 총 에너지 소비의 대부분을 차지함을 강조한다.
• 자기지도 학습 모델(BEiT, MAE)과 지도 학습 기반 모델을 비교하여 이식성과 비용 효율성을 평가한다.
• 실제 전력 기준(예: 가정용, 슈퍼마켓, 항공기)을 활용해 모델의 에너지 소비를 맥락화한다.

실험 결과

연구 질문

• RQ1 최신 딥러닝 모델의 에너지 소비는 일상적인 전력 소비자와 비교해 어떻게 되는가?
• RQ2 사전 훈련이 에너지 비용에 비해 정확도 향상에 얼마나 기여하는가?
• RQ3 자기지도 학습 방법은 지도 학습 기반 사전 훈련에 비해 낮은 에너지 부담으로 높은 성능을 낼 수 있는가?
• RQ4 웨트당 정확도 지표는 소규모 연구 기관에 대해 더 공정한 환경을 어떻게 드러내는가?
• RQ5 대규모 사전 훈련의 성능 향상은 막대한 전력 소비로 인해 정당화될 수 있는가?

주요 결과

• GPT-3-175B 모델은 훈련 기간 동안 1,287,000kWh의 전력을 소비했으며, 이는 영국 슈퍼마켓의 연간 전력 소비와 동일한 수준이다.
• OPT-175B 모델은 훈련 기간 동안 356,000kWh의 전력을 소비하여 대규모 모델의 극도로 높은 에너지 비용을 보여준다.
• 자기지도 학습 사전 훈련은 총 훈련 에너지 비용의 90% 이상을 차지하며, 피니팅 및 추론은 비교적 무시할 수 있을 정도로 낮다.
• ViT-B는 초기 학습에서 6%의 정확도 향상을 달성했지만, 초기 학습보다 열 배 이상의 전력을 소비했다.
• 더 작은 에너지 효율 모델은 웨트당 동일하거나 더 뛰어난 성능을 달성할 수 있으며, 이는 더 빠르고 지속 가능한 연구를 가능하게 한다.
• JFT 및 ImageNet-21k와 같은 대규모 데이터셋에서의 사전 훈련은 데이터 양과 예상 전력 소비 사이에 선형 상관관계를 보였다.