[論文レビュー] Full-Cycle Energy Consumption Benchmark for Low-Carbon Computer Vision

Bo Li, Xinyang Jiang+7 more|arXiv (Cornell University)|Aug 30, 2021

Advanced Neural Network Applications参考文献 46被引用数 7

ひとこと要約

この論文は、低炭素化されたコンピュータビジョンにおけるフルサイクルエネルギー消費のベンチマークを導入し、効率的なディープラーニングの全段階（基本訓練、圧縮、再訓練、推論）におけるエネルギー消費を評価する新しい指標「Greeness」を提案する。ベンチマークの結果、推論段階のエネルギー消費が低い手法は、しばしば訓練段階でのエネルギー消費が高くなることが明らかになった。最適なモデル選定は使用頻度に強く依存しており、特に低～中程度の使用頻度のシナリオでは、量子化と知識蒸留が優れたGreenessを示す。

ABSTRACT

The energy consumption of deep learning models is increasing at a breathtaking rate, which raises concerns due to potential negative effects on carbon neutrality in the context of global warming and climate change. With the progress of efficient deep learning techniques, e.g., model compression, researchers can obtain efficient models with fewer parameters and smaller latency. However, most of the existing efficient deep learning methods do not explicitly consider energy consumption as a key performance indicator. Furthermore, existing methods mostly focus on the inference costs of the resulting efficient models, but neglect the notable energy consumption throughout the entire life cycle of the algorithm. In this paper, we present the first large-scale energy consumption benchmark for efficient computer vision models, where a new metric is proposed to explicitly evaluate the full-cycle energy consumption under different model usage intensity. The benchmark can provide insights for low carbon emission when selecting efficient deep learning algorithms in different model usage scenarios.

研究の動機と目的

• ディープラーニングの炭素排出量の増加に応じて、推論のみに注目するのではなく、効率的モデルの全ライフサイクルにおけるエネルギー消費を評価すること。
• 推論効率にのみ焦点を当て、訓練段階のエネルギー消費を無視する既存の効率的ディープラーニング手法の限界を特定すること。
• 異なる使用頻度下での全ライフサイクルエネルギー消費に基づいて、効率的コンピュータビジョンモデルを比較する包括的なベンチマークを提供すること。
• 展開頻度や更新サイクルに応じてモデル選定が炭素排出に与える影響を示し、実用的展開を支援すること。
• 全ライフサイクル段階におけるモデルの効果性とエネルギー消費のバランスをとる新しい指標「Greeness」を導入すること。

提案手法

• 著者は、効率的ディープラーニングのフルサイクルライフサイクルを定義し、基本モデル訓練、ネットワーク圧縮、再訓練、推論の4段階を含む。
• 4段階すべてにおけるモデル精度、エネルギー消費、使用頻度のトレードオフを評価するための「Greeness」指標を導入する。
• GPUトレーシングを用いてエネルギー消費を測定し、0.1秒のサンプリング周波数でリアルタイムの電力使用状況を捉える。
• 剪定、蒸留、量子化、ニューラルアーキテクチャサーチの複数の効率的ディープラーニング技術を、さまざまなモデルとハードウェア（P100、P40、V100）で評価するベンチマークを実施。
• バッチサイズ、GPUタイプ、サンプリング周波数の感度分析を実施し、エネルギー測定の正確性と総消費量に与える影響を評価する。
• 各モデル更新が基本訓練から再びプロセスを開始する閉ループライフサイクルを仮定し、モデル使用頻度（MUI）を変化させた分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 異なる使用頻度下での効率的ディープラーニングモデルのフルサイクルエネルギー消費は、ライフサイクルの各段階でどのように変化するか？
• RQ2 使用頻度が異なる状況下で、コンピュータビジョンタスクにおいてどの効率的ディープラーニング手法が最も高いGreenessスコアを達成するか？
• RQ3 GPUタイプ（例：GPUの種別）やシステム設定（例：バッチサイズ）の違いは、モデル訓練および推論の総エネルギー消費にどのように影響するか？
• RQ4 一般的に用いられる効率化技術（例：剪定や量子化）が、全ライフサイクルを考慮した場合に、全体のエネルギー消費をどの程度削減できるか？
• RQ5 Greeness指標は、実世界のコンピュータビジョン応用における低炭素展開のためのモデル選定を効果的にガイドできるか？

主な発見

• Greeness指標は、推論段階のエネルギー消費が低いモデルが、特に使用頻度が低い状況では、高コストな訓練段階のエネルギー消費を伴う傾向にあることを明らかにした。
• ResNet-18を学生モデル、Wide ResNet-40-2を教師モデルとする知識蒸留は、MUI=100の条件下でGreenessスコア0.87を達成し、他の手法を上回った。
• 量子化手法、特にINT-8は、低～中程度の使用頻度のシナリオにおいて、総エネルギー消費が低く、精度に高い耐性を示すため、優れたGreenessを示した。
• V100のような最新のGPUは、平均電力が高かろうとも、実行時間が短いため、P100やP40と比較して総エネルギー消費を20％削減した。
• バッチサイズはエネルギー消費に非単調な影響を及ぼす：最適なエネルギー効率はバッチサイズ256で達成され、それ以上になるとGPU利用率が飽和し、エネルギー節約効果は消失する。
• 感度分析により、0.1秒のサンプリング周波数が安定的かつ正確なエネルギー測定を提供することが確認され、異なる周波数間での平均電力の差異は無視できるほど小さかった。