[論文レビュー] Great Power, Great Responsibility: Recommendations for Reducing Energy for Training Language Models

J.C. McDonald, Baolin Li+4 more|arXiv (Cornell University)|May 19, 2022

Topic Modeling被引用数 5

ひとこと要約

本論文は、データセンタでの電力制限およびエネルギーに配慮したスケジューリングに焦点を当て、大規模言語モデルのトレーニングおよび推論におけるエネルギー削減技術を提案する。電力制限を適用することで、トレーニング時間にほとんど影響を与えることなくエネルギー消費を15％削減できることを示しており、モデルの正確性やパフォーマンスに影響を与えることなく、NLPワークロードの炭素足跡を低減する実用的で侵入性のない手法である。

ABSTRACT

The energy requirements of current natural language processing models continue to grow at a rapid, unsustainable pace. Recent works highlighting this problem conclude there is an urgent need for methods that reduce the energy needs of NLP and machine learning more broadly. In this article, we investigate techniques that can be used to reduce the energy consumption of common NLP applications. In particular, we focus on techniques to measure energy usage and different hardware and datacenter-oriented settings that can be tuned to reduce energy consumption for training and inference for language models. We characterize the impact of these settings on metrics such as computational performance and energy consumption through experiments conducted on a high performance computing system as well as popular cloud computing platforms. These techniques can lead to significant reduction in energy consumption when training language models or their use for inference. For example, power-capping, which limits the maximum power a GPU can consume, can enable a 15\% decrease in energy usage with marginal increase in overall computation time when training a transformer-based language model.

研究の動機と目的

• 大規模言語モデルのNLPおよび機械学習分野における急増するエネルギー消費を是正すること。
• モデルの正確性に影響を与えることなく、トレーニングおよび推論中のエネルギー消費を削減する実用的で侵入性のない技術を同定すること。
• NLP研究コミュニティにおける環境影響とエネルギー効率に関する意識と行動を促すこと。
• AIワークロードにおけるエネルギー消費を削減する、測定可能でハードウェアおよびデータセンタ構成に対応可能な方法を提供すること。
• エネルギー効率を研究実践に統合するよう提言すること。これには、エネルギー消費の報告やハイパーパrameterチューニングの最適化が含まれる。

提案手法

• GPUの最大電力消費量を制限する電力制限を適用し、モデル重みやパフォーマンスを変更せずにエネルギー消費を削減する。
• 冷却および電力需要が低い低使用期間中に実験を実行するエネルギーに配慮したスケジューリングを用いる。
• 高性能コンピューティングクラスタおよびクラウドプラットフォームの両方で実験を行い、エネルギーとパフォーマンスのトレードオフを評価する。
• リアルタイム監視を用いてエネルギー消費を測定・報告し、環境への影響を最小限に抑えるために再生可能エネルギー源（炭素フリー電源）を重視する。
• ハードウェア構成、データセンタのPUE（電力使用効率）、システム負荷がエネルギー効率に与える影響を評価する。
• 透明性と責任の確保を支援するため、エネルギー消費の追跡および報告のためのフレームワークを提案する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーに基づく言語モデルのトレーニング中に、GPUのエネルギー消費を効果的に削減するには、電力制限をどのように適用すべきか？
• RQ2 NLPワークロードに電力制限を適用した場合、エネルギー節約とトレーニング時間のトレードオフはどの程度か？
• RQ3 データセンタの特性、例えばPUEや冷却効率は、AIトレーニングの全体的なエネルギー消費にどのように影響するか？
• RQ4 エネルギーに配慮したスケジューリングを用いることで、モデルパフォーマンスに影響を与えることなく、総エネルギー消費をどの程度削減できるか？
• RQ5 NLPモデル開発の環境的影響を低減するために、研究実践におけるどのようなシステム的変化が可能か？

主な発見

• 電力制限を適用することで、トランスフォーマーに基づく言語モデルのトレーニング中にエネルギー消費を最大15％削減でき、トレーニング時間の増加はわずかである。
• 同じモデルアーキテクチャとハイパーパramータを用いた場合、異なる電力制限設定下でも同一の重みとパフォーマンスが得られ、正確性に影響がないことが確認された。
• 電力制限とエネルギーに配慮したスケジューリングを組み合わせることで、炭素フリー電源が利用可能な低使用期間に特に顕著なエネルギー節約が達成される。
• 本研究の実験における総エネルギー消費量は782kWhであり、そのうち760kWhは水力発電で駆動されるHPCクラスタで消費され、炭素排出量を最小限に抑えた。
• データセンタの電力効率（PUE）および冷却負荷は、総エネルギー消費量に顕著な影響を及ぼしており、研究計画においてインfra構築の理解が重要であることが示された。
• 本研究では、モデルアーキテクチャやトレーニングアルゴリズムを変更せずに、システムレベルのチューニングによりエネルギー削減が可能であることを実証した。