[논문 리뷰] Energy Efficiency of Training Neural Network Architectures: An Empirical Study

Yinlena Xu, Silverio Martínez‐Fernández외 2명|arXiv (Cornell University)|2023. 02. 02.

Green IT and Sustainability인용 수 11

한 줄 요약

본 논문은 CNN 아키텍처(VGG16/19, ResNet50)와 학습 위치가 이미지 분류 모델 학습 중 에너지 사용량 및 CO2 배출에 미치는 영향을 실증적으로 분석하고, 하드웨어와 소프트웨어 에너지 측정치를 비교하며 정확도와의 트레이드오프를 다룬다.

ABSTRACT

The evaluation of Deep Learning models has traditionally focused on criteria such as accuracy, F1 score, and related measures. The increasing availability of high computational power environments allows the creation of deeper and more complex models. However, the computations needed to train such models entail a large carbon footprint. In this work, we study the relations between DL model architectures and their environmental impact in terms of energy consumed and CO$_2$ emissions produced during training by means of an empirical study using Deep Convolutional Neural Networks. Concretely, we study: (i) the impact of the architecture and the location where the computations are hosted on the energy consumption and emissions produced; (ii) the trade-off between accuracy and energy efficiency; and (iii) the difference on the method of measurement of the energy consumed using software-based and hardware-based tools.

연구 동기 및 목표

• CNN 아키텍처가 학습 중 에너지 소비 및 배출에 영향을 미치는지 평가한다.
• 모델 정확도와 학습 에너지/CO2 발자국 사이의 트레이드오프를 정량화한다.
• 소프트웨어 기반 에너지 프로파일링을 하드웨어 기반 측정(와트미터)과 비교한다.
• 데이터셋 선택과 호스팅 위치가 에너지 지표에 어떤 영향을 미치는지 분석한다.
• 컴퓨터 비전에서 더 친환경적인 CNN 학습을 위한 가이드를 제공한다.

제안 방법

• CIFAR-10 및 MNIST 데이터셋에서 VGG16, VGG19, ResNet50를 이용한 전이 학습을 수행한다.
• CodeCarbon 프로파일러(소프트웨어 기반)와 와트미터(하드웨어 기반)를 사용하여 에너지 및 CO2 배출을 측정한다.
• keras-flops를 사용해 FLOPs를 계산하여 계산 부하를 근사한다.
• Score = Accuracy / Energy를 계산하여 정확도-에너지 트레이드오프를 연구한다.
• 세 위치와 여러 아키텍처에 걸친 에너지 지표를 바이올린/박스 도표 및 비모수 통계로 분석한다.
• 발산 및 에너지에 대한 아키텍처 및 위치 효과를 평가하기 위해 Kruskal-Wallis 검정을 수행한다.

실험 결과

연구 질문

• RQ1 RQ1: CNN 아키텍처가 학습 중 에너지 소비 및 배출에 영향을 미치는가?
• RQ2 RQ2: 모델 정확도와 학습에 필요한 에너지 간의 관계는 무엇인가?
• RQ3 RQ3: 소프트웨어 기반과 하드웨어 기반 에너지 측정 방법은 학습 에너지 효율성 측면에서 어떻게 비교되는가?

주요 결과

• CIFAR-10 학습은 아키텍처에 관계없이 일반적으로 MNIST보다 배출량 및 에너지가 낮다.
• VGG16과 VGG19는 배출 및 에너지가 비슷한 경향을 보이며, 둘 다 ResNet50보다 낮다.
• 계산 위치에 따라 배출량이 달라지며, 대만이 미국 위치보다 배출량이 더 높았고, 소비 에너지는 위치 차이가 없었다.
• 에너지 소비와 FLOPs는 데이터셋 선택과 상관관계가 있으며, CIFAR-10은 MNIST보다 더 적은 FLOPs와 에너지가 필요하다.
• Score(Accuracy/Energy)는 위치와 아키텍처에 따라 달라지며, 정확도 이득과 에너지 비용 간의 트레이드오프를 보여준다.
• 소프트웨어 기반 프로파일링(CodeCarbon)은 하드웨어 와트미터 측정과 강한 상관관계를 보이며(상관계수 rho ≈ 0.94).