[論文レビュー] Towards Green AI in Fine-tuning Large Language Models via Adaptive Backpropagation

Kai Huang, Hanyun Yin+2 more|arXiv (Cornell University)|Sep 22, 2023

Tracheal and airway disordersMedicine被引用数 3

ひとこと要約

GreenTrainer は、バックプロパゲーションのコストとモデルの精度への寄与度に基づいて、トレーニング可能なテンソルを動的に選択する、大規模言語モデル向けの新しいファインチューニング手法である。精度に顕著な損失を伴わず、最大64％のFLOPs削減を達成する。LoRAに比べて、同等のFLOPs削減レベルで最大4％高い精度を達成し、動的で目的志向の計算最適化により、グリーンAIトレーニングを実現する。

ABSTRACT

Fine-tuning is the most effective way of adapting pre-trained large language models (LLMs) to downstream applications. With the fast growth of LLM-enabled AI applications and democratization of open-souced LLMs, fine-tuning has become possible for non-expert individuals, but intensively performed LLM fine-tuning worldwide could result in significantly high energy consumption and carbon footprint, which may bring large environmental impact. Mitigating such environmental impact towards Green AI directly correlates to reducing the FLOPs of fine-tuning, but existing techniques on efficient LLM fine-tuning can only achieve limited reduction of such FLOPs, due to their ignorance of the backpropagation cost in fine-tuning. To address this limitation, in this paper we present GreenTrainer, a new LLM fine-tuning technique that adaptively evaluates different tensors' backpropagation costs and contributions to the fine-tuned model accuracy, to minimize the fine-tuning cost by selecting the most appropriate set of tensors in training. Such selection in GreenTrainer is made based on a given objective of FLOPs reduction, which can flexibly adapt to the carbon footprint in energy supply and the need in Green AI. Experiment results over multiple open-sourced LLM models and abstractive summarization datasets show that, compared to fine-tuning the whole LLM model, GreenTrainer can save up to 64% FLOPs in fine-tuning without any noticeable model accuracy loss. Compared to the existing fine-tuning techniques such as LoRa, GreenTrainer can achieve up to 4% improvement on model accuracy with on-par FLOPs reduction.

研究の動機と目的

• トレーニングにおける高いエネルギー消費と炭素排出量を低減するため、FLOPsを削減すること。
• 既存手法が重み更新のFLOPsにのみ注目し、バックプロパゲーションのコストを無視するという制限を克服すること。
• 柔軟なFLOPs削減目的に応じて、バックプロパゲーションにおいて最も影響力のあるテンソルを動的に選択する技術を開発すること。
• エネルギー供給の炭素排出量に基づいて、トレーニング可能なテンソルの選択を動的に調整することで、精度損失を最小限に抑えること。
• さまざまなエネルギー環境において、計算効率とモデル性能の両立を図る持続可能なグリーンAIファインチューニングを実現すること。

提案手法

• GreenTrainer は、モデルの精度への寄与度と計算コストに基づいて、バックプロパゲーションにおける個々のニューラルネットワークテンソルの重要性を動的に評価する。
• エネルギー供給の炭素排出量に応じて調整可能な柔軟なFLOPs削減目的を定式化し、効率性と精度の間で動的トレードオフを実現する。
• 活性化勾配計算におけるFLOPsを削減するため、バックプロパゲーションを最も重要なテンソルに限定して実行する。この活性化勾配計算は、全トレーニングFLOPsの少なくとも33％を占める。
• 入力の帰属分析手法に依存しないランタイムでのテンソル重要度メトリクスを用いる。これは、モデルパラメータに適用できない。
• パラメータの更新ではなく、選択的バックプロパゲーションに焦点を当てることで、既存のLoRAスタイルのパラメータ効率の良いファインチューニングと統合する。
• OPT や LLaMA などのさまざまなLLMサイズとアーキテクチャをサポートし、コミュニティ利用を想定してオープンソース化されている。

実験結果

リサーチクエスチョン

• RQ1 選択的バックプロパゲーションは、モデル精度を維持したまま、LLMファインチューニングにおけるFLOPsを顕著に削減できるか？
• RQ2 バックプロパゲーションのコストと寄与度に基づくトレーニング可能なテンソルの適応的選択が、ファインチューニングの効率性と精度に与える影響は何か？
• RQ3 GreenTrainer は、フルファインチューニングやLoRAなどの既存手法と比較して、どの程度FLOPsを削減できるか？
• RQ4 GreenTrainer の性能は、さまざまなLLMサイズや下流タスクにおいてどのように変動するか？
• RQ5 本手法は、エネルギー供給の炭素排出量に応じて柔軟に調整可能か？

主な発見

• GreenTrainer は、複数のデータセットとモデルにおいて、フルファインチューニングと比較して最大64％のFLOPs削減を達成し、顕著な精度損失は認められない。
• OPT-6.7B モデルでは、SciTLDR データセットにおいて、GT-0.4 が LoRA よりも60％多くのFLOPsを削減しながら、同じ精度を維持している。
• LoRA と比較して、GreenTrainer は同じFLOPs削減レベルで、SciTLDR データセットにおいて最大4％高いROUGEスコアを達成している。
• OPT-350M モデルでは、GT-0.5 が SciTDR データセットでFLOPsの50％を削減し、LoRA より2％～4％高い精度を達成している。
• OPT-2.7B や OPT-6.7B などの大規模モデルにおいても、GreenTrainer はFLOPs削減において常にLoRAを上回り、精度を維持または向上させている。
• 本手法は、350Mから6.7Bパラメータのモデルサイズにわたり、スケーラブルに効果を発揮し、効率性とパフォーマンスの両面で一貫した優位性を示している。