[논문 리뷰] Towards Green AI in Fine-tuning Large Language Models via Adaptive Backpropagation

Kai Huang, Hanyun Yin외 2명|arXiv (Cornell University)|2023. 09. 22.

Tracheal and airway disordersMedicine인용 수 3

한 줄 요약

GreenTrainer는 백프로파게이션 비용과 모델 정확도 기여도를 기반으로 가중치를 학습시킬 수 있는 텐서를 적응적으로 선택하는 대규모 언어 모델을 위한 새로운 피닝튜닝 방법이다. 이는 정확도 손실이 크지 않은 상태에서 최대 64%의 FLOPs를 감소시킨다. 동일한 FLOPs 감소 수준에서 LoRA를 능가하여 최대 4% 높은 정확도를 달성하며, 동적이고 목적 기반의 계산 최적화를 통해 더 친환경적인 AI 훈련을 가능하게 한다.

ABSTRACT

Fine-tuning is the most effective way of adapting pre-trained large language models (LLMs) to downstream applications. With the fast growth of LLM-enabled AI applications and democratization of open-souced LLMs, fine-tuning has become possible for non-expert individuals, but intensively performed LLM fine-tuning worldwide could result in significantly high energy consumption and carbon footprint, which may bring large environmental impact. Mitigating such environmental impact towards Green AI directly correlates to reducing the FLOPs of fine-tuning, but existing techniques on efficient LLM fine-tuning can only achieve limited reduction of such FLOPs, due to their ignorance of the backpropagation cost in fine-tuning. To address this limitation, in this paper we present GreenTrainer, a new LLM fine-tuning technique that adaptively evaluates different tensors' backpropagation costs and contributions to the fine-tuned model accuracy, to minimize the fine-tuning cost by selecting the most appropriate set of tensors in training. Such selection in GreenTrainer is made based on a given objective of FLOPs reduction, which can flexibly adapt to the carbon footprint in energy supply and the need in Green AI. Experiment results over multiple open-sourced LLM models and abstractive summarization datasets show that, compared to fine-tuning the whole LLM model, GreenTrainer can save up to 64% FLOPs in fine-tuning without any noticeable model accuracy loss. Compared to the existing fine-tuning techniques such as LoRa, GreenTrainer can achieve up to 4% improvement on model accuracy with on-par FLOPs reduction.

연구 동기 및 목표

• 훈련 중 높은 에너지 소비와 탄소 배출을 초래하는 대규모 언어 모델의 피닝튜닝 문제를 해결하기 위해 훈련 중 FLOPs를 감소시키는 것.
• 기존 방법들이 가중치 업데이트의 FLOPs에만 초점을 맞추고 백프로파게이션 비용을 忽시하는 한계를 극복하는 것.
• 유연한 FLOPs 감소 목표에 따라 백프로파게이션에서 가장 영향력 있는 텐서를 적응적으로 선택하는 기술을 개발하는 것.
• 에너지 공급의 탄소 배출량에 따라 동적으로 학습 가능한 텐서의 선택을 조정하여 FLOPs 감소 과정에서 정확도 손실를 최소화하는 것.
• 다양한 에너지 환경에서 계산 효율성과 모델 성능의 균형을 이루는 지속 가능한 녹색 AI 피닝튜닝을 가능하게 하는 것.

제안 방법

• GreenTrainer는 각 신경망 텐서의 정확도 기여도와 계산 비용을 기반으로 백프로파게이션에서의 중요도를 적응적으로 평가한다.
• 에너지 공급의 탄소 배출량에 따라 조정 가능한 민감도를 가진 FLOPs 감소 목표를 수립하여 효율성과 정확성 사이의 동적 트레이드오���을 가능하게 한다.
• 백프로파게이션을 가장 중요한 텐서들만 대상으로 선택적으로 활성화하여 활성화 그래디언트 계산의 FLOPs를 감소시키며, 이는 전체 훈련 FLOPs의 최소 33%를 차지한다.
• 입력 할당 방법에 의존하지 않는 런타임 텐서 중요도 메트릭을 사용하여 모델 파라미터에 대해 적용 불가능한 기존 방법의 한계를 회피한다.
• 기존의 LoRA 스타일 파라미터 효율적 피닝튜닝과 통합되며, 파라미터 업데이트가 아닌 선택적 백프로파게이션에 초점을 맞춘다.
• OPT 및 LLaMA와 같은 다양한 LLM 크기와 아키텍처를 지원하며, 커뮤니티 사용을 위해 오픈소스로 제공된다.

실험 결과

연구 질문

• RQ1 선택적 백프로파게이션은 모델 정확도를 유지하면서 LLM 피닝튜닝의 FLOPs를 상당히 감소시킬 수 있는가?
• RQ2 백프로파게이션 비용과 기여도를 기반으로 한 학습 가능한 텐서의 적응적 선택은 피닝튜닝의 효율성과 정확도에 어떤 영향을 미치는가?
• RQ3 GreenTrainer는 전체 피닝튜닝과 LoRA와 같은 기존 방법에 비해 FLOPs를 어느 정도 감소시킬 수 있는가?
• RQ4 GreenTrainer의 성능은 다양한 LLM 크기와 다운스트림 작업에서 어떻게 달라지는가?
• RQ5 이 방법은 에너지 공급의 탄소 배출 수준에 따라 다양한 수준으로 조정 가능한가?

주요 결과

• GreenTrainer는 여러 데이터셋과 모델에서 전체 피닝튜닝 대비 최대 64%의 FLOPs 감소를 기록했으며, 정확도 손실은 눈에 띄지 않았다.
• OPT-6.7B 모델에서 GT-0.4는 SciTLDR 데이터셋에서 LoRA보다 60% 더 많은 FLOPs 감소를 기록했고, 동일한 모델 정확도를 유지했다.
• LoRA 대비 GreenTrainer는 동일한 FLOPs 감소 수준에서 SciTLDR 데이터셋에서 최대 4% 높은 ROUGE 점수를 기록했다.
• OPT-350M 모델에서 GT-0.5는 SciTDR 데이터셋에서 LoRA 대비 50%의 FLOPs 감소를 기록했고, 정확도는 2~4% 높았다.
• OPT-2.7B 및 OPT-6.7B와 같은 더 큰 모델에서는 GreenTrainer가 FLOPs 감소에서 LoRA를 능가하며 정확도를 유지하거나 향상시켰다.
• 이 방법은 350M에서 6.7B 파라미터에 이르는 다양한 모델 크기에서 효과적으로 스케일업되며, 효율성과 성능 측면에서 일관된 우수성을 보였다.