[論文レビュー] Watt For What: Rethinking Deep Learning's Energy-Performance Relationship

Shreyank N Gowda, Xinyue Hao+4 more|arXiv (Cornell University)|Oct 10, 2023

Green IT and Sustainability被引用数 4

ひとこと要約

本論文は、深層学習の効率性と精度のトレードオフを再定式化する新しい指標—電力消費単位あたりの精度—を提案する。この指標により、小規模でエネルギー効率の高いモデルが、ワットあたりの性能で大規模モデルを凌駐または上回ることを示している。研究では、事前学習と自己教師あり学習は費用がかかるが、高い移行性を示すことが判明し、エネルギーに配慮したモデル設計を通じて持続可能で公平なAI開発を提唱している。

ABSTRACT

Deep learning models have revolutionized various fields, from image recognition to natural language processing, by achieving unprecedented levels of accuracy. However, their increasing energy consumption has raised concerns about their environmental impact, disadvantaging smaller entities in research and exacerbating global energy consumption. In this paper, we explore the trade-off between model accuracy and electricity consumption, proposing a metric that penalizes large consumption of electricity. We conduct a comprehensive study on the electricity consumption of various deep learning models across different GPUs, presenting a detailed analysis of their accuracy-efficiency trade-offs. By evaluating accuracy per unit of electricity consumed, we demonstrate how smaller, more energy-efficient models can significantly expedite research while mitigating environmental concerns. Our results highlight the potential for a more sustainable approach to deep learning, emphasizing the importance of optimizing models for efficiency. This research also contributes to a more equitable research landscape, where smaller entities can compete effectively with larger counterparts. This advocates for the adoption of efficient deep learning practices to reduce electricity consumption, safeguarding the environment for future generations whilst also helping ensure a fairer competitive landscape.

研究の動機と目的

• エネルギー集約的な深層学習モデルが引き起こす環境的・経済的負担の増大に対処すること。
• 大規模事前学習が、得られる性能向上に比して膨大な電力消費を要するのかを検証すること。
• エネルギー効率の高いモデル設計を促進することで、小規模な研究機関が大手機関と競争可能になるようにすること。
• さまざまなアーキテクチャとタスクにおける事前学習とファインチューニングのエネルギーコストを定量化すること。
• 評価指標を精度のみから、電力消費単位あたりの精度へと転換するよう提唱すること。

提案手法

• 複数のGPUおよびハードウェア構成を用いて、深層学習モデルの電力消費を測定する。
• 新規指標として、キロワットアワー（kWh）あたりの精度を導入し、モデルの効率を評価する。
• 画像分類、セグメンテーション、動画アクション認識のタスクにおいて、ResNets、Vision Transformers、Swin、ViT、BEiT、MAEなど多様なモデルを評価する。
• 事前学習とファインチューニングのエネルギーコストを別々に分析し、事前学習が総エネルギー消費の大部分を占めることを明らかにする。
• 自己教師ありモデル（BEiT、MAE）と教師ありベースラインを比較し、移行性とコスト効率を評価する。
• 家庭、ハイパーマーケット、航空機などの実世界の電力ベンチマークを用いて、モデルの電力消費を文脈づけて解釈する。

実験結果

リサーチクエスチョン

• RQ1 最先端の深層学習モデルの電力消費は、日常的な電力使用者と比べてどの程度か？
• RQ2 事前学習がエネルギー消費に対してどれほど精度向上に寄与するのか？
• RQ3 自己教師あり学習手法は、教師あり事前学習に比べて低いエネルギー負荷で高いパフォーマンスを達成できるか？
• RQ4 ワットあたりの精度という指標は、小規模な研究機関にとってより公平な環境をどのように明らかにするか？
• RQ5 大規模事前学習による性能向上は、その膨大な電力消費によって正当化されるのか？

主な発見

• GPT-3-175Bモデルは、学習中に1,287,000 kWhの電力を消費した。これは、英国のハイパーマーケットの年間電力使用量に相当する。
• OPT-175Bモデルは、学習中に356,000 kWhの電力を消費した。これは、大規模モデルの極めて高いエネルギーコストを示している。
• 自己教師あり事前学習は、総学習エネルギー消費の90％以上を占め、ファインチューニングや推論に比べて無視できないほど高い。
• ViT-Bは、初期化から学習する場合に比べて6％の精度向上を達成したが、電力消費は10倍にのぼった。
• より小規模でエネルギー効率の高いモデルは、ワットあたりの性能で同等または優れた結果を達成でき、より速く持続可能な研究を可能にする。
• JFT や ImageNet-21k のような大規模データセットでの事前学習は、データ量と予想される電力消費量の間で線形相関を示す。