[논문 리뷰] Accuracy is not the only Metric that matters: Estimating the Energy Consumption of Deep Learning Models

Johannes Getzner, Bertrand Charpentier외 1명|arXiv (Cornell University)|2023. 04. 03.

Green IT and Sustainability인용 수 7

한 줄 요약

논문은 각 계층 유형별로 학습된 예측기를 사용해 계층별 에너지 추정치를 합산하여 DL 모델의 CPU 에너지를 예측하는 에너지 추정 파이프라인을 제시하고, 사전 훈련 에너지 예산 편성을 가능하게 한다. 특징 세트를 분석하고 MAC 수를 주요 예측 변수로 보이며, 실제 아키텍처에 대한 일반화는 다르게 나타난다.

ABSTRACT

Modern machine learning models have started to consume incredible amounts of energy, thus incurring large carbon footprints (Strubell et al., 2019). To address this issue, we have created an energy estimation pipeline1, which allows practitioners to estimate the energy needs of their models in advance, without actually running or training them. We accomplished this, by collecting high-quality energy data and building a first baseline model, capable of predicting the energy consumption of DL models by accumulating their estimated layer-wise energies.

연구 동기 및 목표

• DL 모델에서 정확도 및 기타 성능 지표와 함께 에너지도 고려해야 할 필요성 제기.
• 레이어 유형별 에너지 예측기를 구축하기 위한 CPU 에너지 사용량 측정의 모듈형 데이터 수집 프로세스 제공.
• 레이어별 에너지 예측치를 합산해 모델 에너지를 추정하는 간단한 베이스라인 개발.
• 다양한 특징 세트의 예측력과 MAC 수의 에너지 추정 영향 평가.
• 실제 아키텍처로의 일반화 가능성 평가 및 접근방식의 한계 논의.

제안 방법

• CPU 하드웨어에서 codecarbon을 사용해 DL 계층 유형 및 아키텍처에 대한 고품질 에너지 데이터를 수집한다.
• 표준 매개변수, 로그 변환 매개변수, 그리고 MAC 수를 포함하는 특징 세트를 사용해 각 계층 유형에 대해 선형/다항 회귀를 이용한 별도 에너지 예측기를 구축한다.
• 에너지 목표에 MinMaxScaler를 적용하고 필요에 따라 특징에 StandardScaler를 적용하며 MAC를 핵심 특징으로 포함한다.
• 아키텍처별 계층 에너지를 추정하고 예측 값을 합산해 총 아키텍처 에너지를 얻고 실측 값과 비교한다.
• MAC, 로그 특징, 다항식 등을 포함한 특징 세트의 변형 실험을 통해 Conv2d, MaxPool2d, Linear, 활성화 계층의 예측 능력을 확인한다.
• MAC 및 기타 특징이 모델 성능에 미치는 영향을 확인하기 위한 제거 분석을 수행한다.

실험 결과

연구 질문

• RQ1 개별 DL 계층 타입의 에너지 소비를 계층 단위 예측기가 정확하게 추정할 수 있는가?
• RQ2 MAC 수를 특징으로 포함하는 것이 계층 타입 간 에너지 예측 정확도에 어떤 영향을 미치는가?
• RQ3 계층별 에너지 예측을 합산하는 것이 모델 전체 에너지를 직접 측정한 것에 비해 얼마나 정확한가?
• RQ4 다양한 특징 세트(표준 매개변수, 로그 변환 매개변수, MAC, 그리고 이들의 조합)가 Conv2d, MaxPool2d, Linear 및 활성화 계층의 예측 성능에 어떤 영향을 미치는가?
• RQ5 무작위 구성을 학습한 예측기가 AlexNet 및 VGG 계열과 같은 실제 아키텍처에 어느 정도 일반화하는가?

주요 결과

Module	Avg. R^2 Cross-Val	Avg. MSE Cross-Val	R^2 Test Set	MSE Test-Set
Conv2d	0.994 (± 0.005)	-2.291e-05 (± 1.329e-05)	0.9977	2.779e-05
MaxPool2d	0.999 (± 0.000)	-2.552e-06 (± 4.612e-06)	0.9995	7.736e-07
Linear	0.999 (± 0.000)	-4.284e-05 (± 1.425e-05)	0.9992	3.384e-05
ReLU	0.981 (± 0.005)	-1.046e-03 (± 2.284e-04)	0.9812	8.998e-04
Sigmoid	0.981 (± 0.008)	-1.047e-03 (± 1.866e-04)	0.9905	7.538e-04
Tanh	0.976 (± 0.008)	-1.315e-03 (± 4.252e-04)	0.9761	1.412e-03
Softmax	0.989 (± 0.004)	-5.671e-04 (± 1.599e-04)	0.9913	4.972e-04

• 계층 타입 예측기는 대부분의 계층에서 높은 테스트 세트 R^2 점수를 달성한다(Conv2d: 0.9977, MaxPool2d: 0.9992, Linear: 0.9992, ReLU: 0.9812, Sigmoid: 0.9905, Tanh: 0.9761, Softmax: 0.9913).
• MAC 수는 결정적인 예측 변수이며 일부 계층에서 단독으로 사용해도 거의 최적에 가까운 예측을 낼 수 있다(Conv2d: 0.9977; MaxPool2d: 0.9995; Linear: 0.9992).
• 아키텍처별 계층 에너지 추정치를 합산하면 모델-와이드 에너지의 R^2가 0.352로 실 구성에서 일반화 문제가 있음을 시사한다.
• 실제 아키텍처의 계층 구성으로 학습 데이터를 보강하면 Conv2d의 R^2이 0.314에서 0.395로, MaxPool2d가 0.559에서 0.679로 개선된다.
• 특징 제거 분석에서 MAC 수가 예측 성능을 크게 높이며, MAC 없이 Conv2d의 R^2는 0.25로 하락하고 MAC를 포함하면 최대 0.998까지 상승한다.
• 에너지 예측 정확도는 계층 타입에 따라 다르며 활성화 계층은 총 에너지에 거의 기여하지 않고 선형/합성곱 계층이 대부분의 에너지 사용을 좌우한다.