[论文解读] Energy Efficiency of Training Neural Network Architectures: An Empirical Study
本论文通过实证分析 CNN 架构（VGG16/19、ResNet50）和训练地点如何影响图像分类模型训练过程中的能耗和二氧化碳排放，比较硬件与软件能量测量以及与准确率的权衡。
The evaluation of Deep Learning models has traditionally focused on criteria such as accuracy, F1 score, and related measures. The increasing availability of high computational power environments allows the creation of deeper and more complex models. However, the computations needed to train such models entail a large carbon footprint. In this work, we study the relations between DL model architectures and their environmental impact in terms of energy consumed and CO$_2$ emissions produced during training by means of an empirical study using Deep Convolutional Neural Networks. Concretely, we study: (i) the impact of the architecture and the location where the computations are hosted on the energy consumption and emissions produced; (ii) the trade-off between accuracy and energy efficiency; and (iii) the difference on the method of measurement of the energy consumed using software-based and hardware-based tools.
研究动机与目标
- 评估 CNN 架构在训练过程中的能耗与排放是否受影响。
- 量化模型准确性与训练能耗/CO2 足迹之间的权衡。
- 比较基于软件的能量分析与硬件测量（瓦特计）。
- 分析数据集选择和托管位置如何影响能量指标。
- 为更环保的计算机视觉 CNN 训练提供指导。
提出的方法
- 在 CIFAR-10 和 MNIST 数据集上使用 VGG16、VGG19 和 ResNet50 的迁移学习。
- 使用 CodeCarbon 分析器（基于软件的）和瓦特计（基于硬件的）来测量能量与 CO2 排放。
- 使用 keras-flops 计算 FLOPs，以估计计算工作量。
- 计算分数 Score = Accuracy / Energy，以研究准确率与能量之间的权衡。
- 通过小提琴/箱线图和非参数统计在三个地点和多种架构下分析能量指标。
- 执行 Kruskal-Wallis 检验以评估架构和地点对排放与能量的影响。
实验结果
研究问题
- RQ1RQ1：CNN 架构在训练过程中是否影响能耗和排放？
- RQ2RQ2：模型准确性与训练模型所需能量之间的关系是什么？
- RQ3RQ3：基于软件的能量测量方法与基于硬件的能量测量在训练能效方面的对比如何？
主要发现
- 在各架构中，CIFAR-10 的训练通常比 MNIST 产生的排放与能量更低。
- VGG16 和 VGG19 往往产生的排放与能量相近，均低于 ResNet50。
- 计算地点会影响排放，美国地点相比台湾地点排放较高；能量消耗在不同地点间未显示差异。
- 能量消耗和 FLOPs 与数据集选择相关；CIFAR-10 需要的 FLOPs 和能量比 MNIST 少。
- Score（Accuracy/Energy）因地点和架构而异，体现了准确度提升与能量成本之间的权衡。
- 基于软件的分析（CodeCarbon）与硬件瓦特计测量高度相关（相关系数 rho 约为 0.94）。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。