[論文レビュー] Energy Efficiency of Training Neural Network Architectures: An Empirical Study

Yinlena Xu, Silverio Martínez‐Fernández+2 more|arXiv (Cornell University)|Feb 2, 2023

Green IT and Sustainability被引用数 11

ひとこと要約

本論文は経験的に、CNNアーキテクチャ（VGG16/19、ResNet50）とトレーニング場所が画像分類モデルの学習中のエネルギー使用量とCO2排出量に与える影響を分析し、ハードウェアとソフトウェアのエネルギー測定を比較するとともに、精度とのトレードオフを検討している。

ABSTRACT

The evaluation of Deep Learning models has traditionally focused on criteria such as accuracy, F1 score, and related measures. The increasing availability of high computational power environments allows the creation of deeper and more complex models. However, the computations needed to train such models entail a large carbon footprint. In this work, we study the relations between DL model architectures and their environmental impact in terms of energy consumed and CO$_2$ emissions produced during training by means of an empirical study using Deep Convolutional Neural Networks. Concretely, we study: (i) the impact of the architecture and the location where the computations are hosted on the energy consumption and emissions produced; (ii) the trade-off between accuracy and energy efficiency; and (iii) the difference on the method of measurement of the energy consumed using software-based and hardware-based tools.

研究の動機と目的

• CNNアーキテクチャが学習中のエネルギー消費と排出量に影響を与えるかを評価する。
• モデルの精度と学習エネルギー/CO2フットプリントのトレードオフを定量化する。
• ソフトウェアベースのエネルギー計測とハードウェアベースの測定（wattmeter）を比較する。
• データセットの選択とホスティング場所がエネルギー指標に与える影響を分析する。
• コンピュータビジョン領域におけるより環境に優しいCNNトレーニングの指針を提供する。

提案手法

• CIFAR-10およびMNISTデータセットでVGG16、VGG19、ResNet50を用いた転移学習を行う。
• CodeCarbon profiler（ソフトウェアベース）とワットメーター（ハードウェアベース）を用いてエネルギーとCO2排出量を測定する。
• 計算ロードの概略を推定するためにkeras-flopsでFLOPsを計算する。
• Score = Accuracy / Energyを計算して精度とエネルギーのトレードオフを検討する。
• 3つのロケーションと複数のアーキテクチャに渡るエネルギー指標を、バイオリン/ボックスプロットと非パラメトリック統計を用いて分析する。
• 排出量とエネルギーに対するアーキテクチャと場所の影響を評価するためにKruskal-Wallis検定を実施する。）

実験結果

リサーチクエスチョン

• RQ1 RQ1: CNNアーキテクチャは学習中のエネルギー消費と排出量に影響を与えるか？
• RQ2 RQ2: モデルの精度とモデルを訓練するために必要なエネルギーとの関係はどのようか？
• RQ3 RQ3: 訓練のエネルギー効率に関して、ソフトウェアベースとハードウェアベースのエネルギー測定法はどのように比較されるか？

主な発見

• CIFAR-10の訓練は、アーキテクチャを問わず、MNISTよりも排出量とエネルギーが低い傾向である。
• VGG16とVGG19は排出量とエネルギーが類似しており、いずれもResNet50より低い。
• 計算の場所は排出量に影響を与え、台湾は米国の場所より排出量が高いことが示された。消費エネルギーには場所差は見られなかった。
• エネルギー消費とFLOPsはデータセットの選択と相関し、CIFAR-10はMNISTより少ないFLOPsとエネルギーを要する。
• Score (Accuracy/Energy)は場所とアーキテクチャによって変化し、精度向上とエネルギーコストのトレードオフを示している。
• ソフトウェアベースのプロファイリング（CodeCarbon）は、ハードウェアのワットメーター測定と強く相関する（rho ≈ 0.94）。