[论文解读] Full-Cycle Energy Consumption Benchmark for Low-Carbon Computer Vision

Bo Li, Xinyang Jiang+7 more|arXiv (Cornell University)|Aug 30, 2021

Advanced Neural Network Applications参考文献 46被引用 7

一句话总结

本文为低碳计算机视觉提出了一套全周期能效基准，引入了一项名为'Greeness'的新指标，用于评估高效深度学习在各个阶段（基础训练、压缩、微调和推理）的能效表现，涵盖不同模型使用强度下的能效表现。基准测试揭示，推理能耗较低的方法往往在训练阶段消耗大量能源，而最优模型选择高度依赖于使用强度，其中量化和知识蒸馏在低至中等使用场景下表现出更优的Greeness表现。

ABSTRACT

The energy consumption of deep learning models is increasing at a breathtaking rate, which raises concerns due to potential negative effects on carbon neutrality in the context of global warming and climate change. With the progress of efficient deep learning techniques, e.g., model compression, researchers can obtain efficient models with fewer parameters and smaller latency. However, most of the existing efficient deep learning methods do not explicitly consider energy consumption as a key performance indicator. Furthermore, existing methods mostly focus on the inference costs of the resulting efficient models, but neglect the notable energy consumption throughout the entire life cycle of the algorithm. In this paper, we present the first large-scale energy consumption benchmark for efficient computer vision models, where a new metric is proposed to explicitly evaluate the full-cycle energy consumption under different model usage intensity. The benchmark can provide insights for low carbon emission when selecting efficient deep learning algorithms in different model usage scenarios.

研究动机与目标

• 为应对深度学习日益增长的碳足迹，评估高效模型全生命周期的能耗，而不仅限于推理阶段。
• 识别现有高效深度学习方法的局限性，这些方法仅关注推理效率，却忽视了训练阶段的能耗成本。
• 提供一个基于不同使用强度下全周期能耗的高效计算机视觉模型比较基准。
• 通过展示模型选择如何因部署频率和更新周期的不同而影响碳排放，为实际部署提供指导。
• 引入一项新指标Greeness，以平衡模型在全生命周期各阶段的性能与能耗。

提出的方法

• 作者定义了高效深度学习的全周期生命周期，包括基础模型训练、网络压缩、微调和推理四个阶段。
• 提出'Greeness'指标，用于评估在所有四个阶段中模型精度、能耗与使用强度之间的权衡。
• 通过GPU追踪测量能耗，采样频率为0.1秒，以捕捉训练和推理期间的实时功耗。
• 基准测试评估了多种高效深度学习技术——剪枝、蒸馏、量化和神经架构搜索——在不同模型和硬件（P100、P40、V100）上的表现。
• 对批量大小、GPU类型和采样频率进行敏感性分析，以评估其对能耗测量精度和总能耗的影响。
• 该框架假设为闭环生命周期，每次模型更新均从基础训练重新开始，从而支持在不同模型使用强度（MUI）下的分析。

实验结果

研究问题

• RQ1 在不同模型使用强度下，高效深度学习模型的全周期能耗在各生命周期阶段如何变化？
• RQ2 在计算机视觉任务中，哪些高效深度学习技术在不同使用强度下能获得最佳Greeness得分？
• RQ3 硬件差异（如GPU类型）和系统配置（如批量大小）如何影响模型训练和推理的总能耗？
• RQ4 当综合考虑整个生命周期时，剪枝和量化等常用效率技术在多大程度上减少了整体能耗？
• RQ5 Greeness指标能否有效指导现实世界计算机视觉应用中低碳部署的模型选择？

主要发现

• Greeness指标显示，推理能耗较低的模型往往在训练阶段消耗大量能源，尤其在低模型使用强度下更为显著。
• 以ResNet-18为学生网络、Wide ResNet-40-2为教师网络的知识蒸馏方法在MUI=100时达到0.87的Greeness得分，优于其他方法。
• 在低至中等使用强度下，量化方法（尤其是INT-8）表现出更优的Greeness，因其总能耗更低且对精度容错性更高。
• 新型GPU（如V100）由于执行时间更短，尽管平均功耗更高，但相比P100和P40可将总能耗降低20%。
• 批量大小对能耗具有非单调影响：在批量大小为256时能耗最低，超过该值后GPU利用率趋于饱和，能耗节省不再明显。
• 敏感性分析确认，0.1秒采样频率可提供稳定且准确的能耗测量，不同采样频率下的平均功耗差异可忽略。